【发布时间】：2009-10-30 01:01:36
【问题描述】：
如何防止 Google 和其他搜索引擎将我的网站编入索引？
【问题讨论】：
-
robots.txt 指令在您的 /
标签： html search-engine
【发布时间】：2009-10-30 01:01:36
【问题描述】：
在您的站点根目录中创建一个robots.txt 文件，其中包含以下内容：
# robots.txt for yoursite
User-agent: *
Disallow: /
搜索引擎（以及一般大多数机器人）会尊重该文件的内容。您可以放置任意数量的Disallow: /path 行以供机器人忽略。更多详情请访问robotstxt.org。
【讨论】：
-
这家伙说你应该做点别的，可能很有趣：yoast.com/prevent-site-being-indexed
-
是的。这个答案应该更新为关于元标记的更好的答案
-
编入索引和获得排名是有区别的。元标记 告诉爬虫不要对您的网站进行排名。如果您使用 robots.txt，他们将永远不会看到此内容，并且仍可能对您的网站进行排名和列出。
我意识到这是一个非常古老的问题，但我想强调 @Julien 的评论作为实际答案。
According to Joost de Valk，robots.txt 确实会阻止您的网站被搜索引擎抓取，但如果其他网站有指向您网站的链接，指向您网站的链接仍可能出现在搜索结果中。
解决方案是在页面标题中添加机器人元标记：
<meta name="robots" content="noindex,nofollow"/>
或者，更简单的选择是将以下内容添加到您的 .htaccess 文件中：
Header set X-Robots-Tag "noindex, nofollow"
显然，您的网络主机必须允许 .htaccess 规则并安装 mod_headers 模块才能正常工作。
这两个标签都阻止搜索引擎跟踪指向您网站的链接并在搜索结果中显示您的网页。双赢，宝贝。
【讨论】：