robots.txt 内容本身是否已编入索引？ [关闭]答案

【问题标题】：robots.txt content itself is indexed? [closed]robots.txt 内容本身是否已编入索引？ [关闭]
【发布时间】：2011-11-08 10:13:57
【问题描述】：

我的 robots.txt 文件的内容实际上已编入索引并显示在 Google 搜索结果中。例如，只有谷歌而不是雅虎。

我真的认为谷歌应该理解不来索引我的机器人文件的内容，因为它只是在那里告诉谷歌什么不能编入索引！

我在这里遗漏了什么吗？

【问题讨论】：

【解决方案1】：

这很正常。几个月前我的也被索引了。我认为这是爬虫的问题。 编辑：顺便说一句，您可以删除站长工具网站上的链接。

【讨论】：

【解决方案2】：

我不建议禁止 robots.txt 文件本身。相反，您可以使用带有 noindex 值的 X-Robots-Tag http header，这将阻止搜索引擎对文件编制索引。

这将允许他们访问您的 robots.txt，但会阻止它出现在搜索结果中。

【讨论】：

【解决方案3】：

您可以将Disallow: /robots.txt 添加到您的 robots.txt。我认为它应该避免 robots.txt 本身被索引。

【讨论】：

【解决方案4】：

我认为禁止您自己的 robots.txt 文件（如果可能）将导致那里写入的所有其他命令也被机器人忽略。

【讨论】：