网站robots.txt设置要注意什么问题?

2019-06-21 作者:MetInfo 24

seo对于robot.txt文件并不陌生,它搜索引擎蜘蛛访问网站时第一个抓取的文件,那网站robots.txt设置要注意什么问题?

网站robots.txt设置要注意什么问题?

1.如果你希望搜索引擎抓取网站上的所有内容,那么不要创建robots.txt文件。

2.如果有动态链接和静态链接,建议阻止动态链接。

3.robots.txt只能是屏蔽站内文件的,对站外文件没有屏蔽功能。

4.User-agent,Allow,Disallow,Sitemap的首字母都是大写的。

5.User-agent,Allow,Disallow,Sitemap的冒号后面都是有空格的,没有写空格直接写接下来的内容会出错。

网站robots.txt设置要注意什么问题?以上是小编的内容,希望对各大seoer有所帮助。



欢迎关注“米拓学院”公众号,我们将定期推送建站及推广相关知识!

CMS