一站式搜索引擎如何查询网站有些私人目录？答案

【问题标题】：How does one stop search engines from querying site somewhat private directories?一站式搜索引擎如何查询网站有些私人目录？
【发布时间】：2011-12-15 01:53:11
【问题描述】：

我在 Google、Bing 等上查询了一些我不一定希望全世界看到的目录。如何防止它抓取这些页面/目录？另外如何删除以前的条目？

【问题讨论】：

如果你不想让全世界看到他们；那你为什么要发布这些“私人”页面呢？ robots.txt 将阻止搜索引擎索引内容，但不会阻止普通黑客。
是的，我知道，这个问题只涉及搜索引擎。

标签： search seo web-crawler

【解决方案1】：

友好的网络爬虫（Google、Bing、Yahoo、Baidu 等）会尊重您的robots.txt file。来自非常有用的http://www.robotstxt.org/ 的示例：

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /junk/

当然，如果您真的想要限制您的私人内容，最好使用您的网络服务器的authentication and authorization tools 或restrict access by address。

【讨论】：

+1 用于提及服务器安全工具。 robots.txt 不会神奇地阻止恶意攻击者

【解决方案2】：

大多数搜索引擎在开始抓取您的网站之前首先会检查 robots.txt 文件。如果不希望它爬取某些目录，请在您的根目录中创建一个robots.txt 文件并将其添加到其中：

User-agent: *
Disallow: /my_private_dir

如果你想要一个示例 robots.txt 文件，here is stackoverflow's。

【讨论】：