1.文件名为:robots.txt
2.文件存放在网站根目录下。
3.文件以ansi编码保存。
示例：
User-agent: *
Disallow: /BBS
在线robots.txt检测：http://tool.motoricerca.info/robots-checker.phtml
robots.txt编写规范：http://www.robotstxt.org/orig.html
相关文章：
相似解决方案
热门标签
2.文件存放在网站根目录下。
3.文件以ansi编码保存。
示例：
User-agent: *
在线robots.txt检测：http://tool.motoricerca.info/robots-checker.phtml
robots.txt编写规范：http://www.robotstxt.org/orig.html
相关文章：