robots.txt 中的错误即使已修复也会不断堆积

Question

有人在我们的整个 allow: /products/ 之后不小心添加了 \n，从而弄乱了我们的 robots.txt，总共大约 30.000 页。错误出现在多种语言网站上。这是我们的搜索控制台之一。

我很快注意到了错误并将其删除。我已要求 Google 验证我的解决方案，但大约 3 个月后，错误仍在增加。见下图：

我可以做些什么来加快流程吗？我已经开始验证了。

Answer 1

您的 robots.txt 无法访问。它被 301 重定向到https://www.unisgroup.nl/robots.txt/，它是目录，而不是文件——你看到尾部的斜杠了吗？ Google 正在寻找一个文件，但没有找到它就消失了。