如何在搜索引擎结果中隐藏 Robots.txt？ [关闭]

Question

我不想在搜索结果列表中看到 Robots.txt。我正在开发一个 asp.net 项目。

我发现了一些失败的解决方案，其中之一如下：

• 在标题中使用“X-Robots-Tag”。

但我想隐藏一个 txt 文件，因此其中没有“标题”部分。

感谢您的帮助。

Answer 1

大小写对于大多数流行的搜索引擎都很重要，包括 Google (source)。将您的文件名从 Robots.txt 更改为 robots.txt。如果您正确命名它，大多数流行的搜索引擎（Bing、Yahoo、Google 等）都不会将其编入索引。您无需付出额外的努力。

Here 是 Yahoo 的爬虫帮助，描述区分大小写。

Here 是描述爬虫对 robots.txt 的常见礼遇的标准。明确指出空的 robots.txt 文件将被完全忽略，并且它们不被索引是常识。否则，我们会在 Google 中看到数十亿个 robots.txt 搜索结果。

Answer 2

通过 http 发送的 txt 文件有一个标头（包含类型：text/plain），只需接受请求并使用您自己的标头发送 txt。