百度蜘蛛不遵循robots.txt协议吗?

　　百度蜘蛛不遵循robots.txt协议吗?

　　常有站长说，百度蜘蛛不遵循robots.txt，屏蔽了的内容弄还是去抓取。事实上不排除偶有这样的例子，基本上重新更新robots.txt就会得到解决。那么解决不了，还会是什么原因造成的呢?今天，我这里就透露一个小的秘密网站有robots.txt，蜘蛛访问不到robots.txt文件，你信嘛?

　　或者说，次检测更新可以实现正确的更新，继续点击更新就又失败了，继续点击的话，还是这样的反复，让人摸不到一点规律，百度只是反复的提示403错误。终是怎么解决的呢?就像开头标题说的一样IP屏蔽错误，导致了蜘蛛无法识别robots.txt，你的网站是否也犯过这样的错误呢?如果你进行了IP地址的屏蔽，请检查一下是否包含了

　　如123.125.68. 220.181.68. 220.181.7. 123.125.66. 121.14.89. 203.208.60. 210.72.225. 125.90.88. 220.181.108. 123.125.71. 59.226.50. 25.90.88. 61.135.162.

　　上述IP为网络其他资源查找，如有不完善的地方，相关朋友可以联系我进行添加，也为更多的站长指路。