常见Robots名字
seo优化 2022-07-27 12:20www.1681989.comseo排名
名称 搜索引擎
google蜘蛛: googlebot
百度蜘蛛:baiduspider
yahoo蜘蛛:slurp
alexa蜘蛛:ia_archiver
msn蜘蛛:msnbot
altavista蜘蛛:scooter
lycos蜘蛛: lycos_spider_(t-rex)
alltheweb蜘蛛: fast-webcrawler/
ktomi蜘蛛: slurp
一个在线写robots.txt的工具。
需要注意，robots.txt文件名必须是小写，而且放在网站根目录
推火专家360站长平台
上一篇：robots非标准扩展协议
下一篇：RobotsMETA标签的写法