网站robots.txt如何设置?

2019-06-21 作者:MetInfo 32

robots.txt文件对于seo来说并不生疏,那么,网站robots.txt如何设置?

网站robots.txt如何设置?

网站robots.txt如何设置?

一、啥是robots.txt

笔者引证baidu站长对象中后段话来阐发。查找引擎运用spider措施自动会见互联网上的页面并获取页面信息。spider在会见一个网站时,会起首会 查察该网站的根域下是不是有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取打算。您可以在您的网站中创建一个robots.txt,在文件中声明 该网站中不想被查找引擎录入的有些或者指定查找引擎只录入特定的有些。

二、robots.txt如何设置

1、robots.txt文件必须放置在网站根目录;

2、robots.txt文件名必须小写。

根据上面两点提示我们查看到绝大部分网站的robots.txt文件,如果出现无法访问的现象,最大可能就是网站根目录中没有此文件。



欢迎关注“米拓学院”公众号,我们将定期推送建站及推广相关知识!

CMS