阻止 Googlebot 将页面编入索引，同时仍允许访问答案

【问题标题】：Prevent Googlebot from indexing a page while still allowing access阻止 Googlebot 将页面编入索引，同时仍允许访问
【发布时间】：2017-01-30 12:20:22
【问题描述】：

在一个 angularjs 应用程序中，我使用了一些像 /fragments/welcome-1.html 这样的片段，它显示为 /welcome 的一部分。我想，我可以通过

从谷歌搜索中排除它

Disallow: /fragments

在robots.txt中，但它完全阻止了Googlebot的任何访问，因此页面/welcome无法正确显示。

显然，我不能这样做，但我如何确保 Google 可以获取片段并且不会对其编制索引？请注意，它不是真正的 HTML，只是正文的一部分，所以我不能真正使用 meta 标记。

【问题讨论】：

标签： angularjs robots.txt googlebot

【解决方案1】：

我不认为这是一个 angularjs 问题，或者是否可以用 angular 解决。我对机器人有类似的问题。我有一个托管多个网站的文件夹。我在 Google 分析控制台中解决了它，在您验证和监控您的域后，菜单上有一个名为 Google index 的选项，其中有一个删除 URL 的选项。只需将您不希望 Google 编入索引的所有 URL 都放入其中。

https://www.google.com/analytics/

【讨论】：

【解决方案2】：

我刚刚找到X-Robots-Tag 并使用/fragments 提供所有页面

X-Robots-Tag: googlebot: noindex

让我们看看它是否真的有效。

【讨论】：