robots.txt语法教程
seo优化 2022-07-27 12:20www.1681989.comseo排名
用几个最常见的情况，直接举例说明:
1. 允许所有SE收录本站:robots.txt为空就可以，什么都不要写。
2. 禁止所有SE收录网站的某些目录:
User-agent:
Disallow: /目录名1/
Disallow: /目录名2/
Disallow: /目录名3/
3. 禁止某个SE收录本站，例如禁止百度:
User-agent: Baiduspider
Disallow: /
4. 禁止所有SE收录本站:
User-agent:
Disallow: /
5. 加入sitemap.xml路径,例如:
推火专家360站长平台
上一篇：robots使用技巧
下一篇：robot.txt在SEO中的作用