网站robots.txt如何设置?

2019-06-21 作者:MetInfo

Robots.txt是网站与搜索引擎沟通的一个重要的渠道,通过这个文件,可以告诉搜索引擎自己做的网站那些页面可以允许他们收录,那些不允许他们收录。小编就说下用MetInfo企业网站响应式模板建站时网站robots.txt如何设置?

一、啥是robots.txt

笔者引证百度站长对象中后段话来阐发。查找引擎运用spider措施自动会见互联网上的页面并获取页面信息。spider在会见一个网站时,会起首页查查该网站的根域下是不是有一个叫做 robots.txt的纯文本文件,这个文件用于指定spider在您网站上的抓取打算。您可以在您的网站中创建一个robots.txt,在文件中声明该网站中不想被查找引擎录入的有些或者指定查找引擎只录入特定的有些。

二、MetInfo企业建站系统robots.txt如何设置

1、进入米拓用户中心

CMS

2、进入试用站点,点击应用插件,安装robot在线修改器插件

CMS

CMS

3、点击robot在线修改器,就可以对网站robots.txt进行设置

CMS

CMS

根据上面两点提示我们查看到绝大部分网站的robots.txt文件,如果出现无法访问的现象,最大可能就是网站根目录中没有此文件。

MetInfo响应式网站模板演示及使用地址:点这里获取使用机会



CMS