【发布时间】：2016-08-03 06:48:50
【问题描述】：
如何将文件夹标记为对所有搜索引擎隐藏？
有多少种选择？
哪个最靠谱？
【问题讨论】：
标签： search web-crawler search-engine
【发布时间】：2016-08-03 06:48:50
【问题描述】：
为防止搜索引擎访问某些目录/网址，通常使用 robots.txt。这是搜索引擎在抓取您的网站之前会查看的文件。
robots.txt
User-agent: *
Disallow: /secret/
此文件应放置在您的网站根目录中。例如http://www.example.com/robots.txt
在使用 /robots.txt 时有两个重要的注意事项：
- 机器人可以忽略您的 /robots.txt。尤其是扫描网络以查找安全漏洞的恶意软件机器人，以及垃圾邮件发送者使用的电子邮件地址收集器将不会注意到。
- /robots.txt 文件是公开可用的文件。任何人都可以看到您不希望机器人使用服务器的哪些部分。
【讨论】：
-
感谢您的回复。应该把 robots.txt 文件放在哪里？秘密文件夹？
-
在您的网站根目录中 - 例如：
http://www.example.com/robots.txt -
感谢您的回复。我想要 manager 文件夹 隐藏。管理器文件夹路径：/public_html/manager/这里需要放/public_html/robots.txt/？
-
感谢您的回复。此过程是否适用于所有搜索引擎？
-
确实如此。这是一种标准。