可以禁止百度蜘蛛抓取css和js文件吗?

2019-08-13 作者:MetInfo 21

css和js文件是网站内容的一部分,对于seo来说的话,百度排名是不会考虑css和js文件的。那么,我们是不是可以禁止百度蜘蛛抓取css和js文件吗?

从百度站长优化指南可以参考,虽然禁止百度抓取js和css文件,但是百度蜘蛛还是照样抓取不误,毫无疑问,它们是用来支撑网站整体上的功能性和美观性,任何网站都需要js和css。

CMS

这是MetInfo企业建站系统的css和js的代码,如果说写个robots.txt文件禁止百度收录css和js的代码,那么,小编觉得会有以下结论:

1.小编认为“蜘蛛抓取一个网站的时间是一定的,限制了某文件被抓取,则它又更多时间去抓取别的网页”

如果不成立,则完全没必要屏蔽CSS和JS了。

如果成立,那要屏蔽的就不止CSS和JS了,很多没实质意义的文件都值得屏蔽。

2.>如果被屏蔽掉的js/css文件依然会被baidu和google大量crawl。

>屏蔽后跟踪观察其他page type 蜘蛛crawl量,发现并未增加

>如果网站大部分js/css文件里包含较多URL可以不屏蔽,蜘蛛爬取js/css文件的同时可以爬取里面的link

>如果网站大部分js/css文件里基本上都是代码之类的,屏蔽也可,没发现明显的好处也没发现坏处 。

所以,得出的结论是不建议禁止百度收录js或者css文件,毕竟百度抓取这些文件对网站整体性能影响微乎其微,如果禁止百度抓取js或者css,可能会影响百度快照js特效和css样式得不偿失,建议不要这样做。



欢迎关注“米拓学院”公众号,我们将定期推送建站及推广相关知识!

CMS