如何使用 Google Search Console 强制重新索引坏的 robots.txt 页面？

Question

我的问题

所以最近我的robots.txt 文件犯了一个很大的错误。我在一行中添加了防止读取数据文件的目的，目的是防止博客数据.txt 文件被抓取：

Disallow: *.txt$

回想起来，我应该先包含一个目录：

Disallow: /blog/posts/*.txt$

但是，由于我没有这样做，Google 现在无法抓取我的 robots.txt 文件。

我现在已经修复了文件，但我无法让 Google Search Console 重新索引文件，因为它仍然认为不允许这样做。

我的尝试

• 我尝试在 GSC 中提取 /robots.txt 文件并手动重新索引但没有骰子。它给我的唯一信息是“robots.txt 不允许”
• 我尝试从站点中删除robots.txt 文件，在 GSC 中手动重新索引，希望它会意识到它已经消失并重置或其他什么。尽管如此，仍然没有，仍然说该操作“robots.txt 不允许”
• 我也尝试过使用 robots.txt 测试工具，但它只适用于 URL-Prefix Properties，这是一个 域属性 它不会出现在要测试的可用站点列表中。如果有人知道我可以使用此工具的方法（或暂时将我的属性转换为 URL 前缀属性），这仍然是一个解决方案。

我的目标

我真的很想在 GSC 的索引中重置我的 robots.txt 文件。任何和所有建议将不胜感激。

希望我足够清楚地描述了这个问题。如果您需要更多信息或上下文，请告诉我，我将非常乐意更新帖子。

谢谢！

Answer 1

因此，感谢Google Search Console Forums 的 Barry Hunter，我能够解决这个问题。我无法想象这是很多人都会遇到的问题，但以防万一，这里有解决方案。

1. 转到 Google Search Console 并添加一个新的 网址前缀属性（除非您已经将您的属性设置为 网址前缀属性，在这种情况下请跳至步骤3)
2. 使用与您的域属性相同的域创建其中两个属性。一种带有“http://”，另一种带有“https://”。他们将自动验证您已声明对域属性的所有权。
3. 转到Google Search Console robots.txt 测试工具。
4. 选择您的 URL 前缀属性之一，robots.txt 文档的最后一个索引版本将打开。
5. 编辑文本以更正您的错误并点击提交。然后，按照对话框中显示的步骤操作。
6. 重新加载页面，如果更改卡住，您就可以开始了。对您的其他媒体资源重复第 4 步，然后再次尝试在 GSC 上加载网址。