robots.txt 未更新答案

【问题标题】：robots.txt Not Updatingrobots.txt 未更新
【发布时间】：2015-10-19 14:11:10
【问题描述】：

今天我收到了一封来自网站管理员工具的电子邮件，内容是“Googlebot 无法访问 CSS 和 JS 文件”。因此，我着手更新位于服务器根目录中的 robots.txt 文件。

原创内容：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/ #<--CAUSE OF THE PROBLEM

Sitemap: http://example.com/sitemapindex.xml

我从文件中删除了“Disallow: /wp-content/themes/”行并重新上传了文件，但是当我在浏览器中查看新文件时，没有任何改变，然后我执行了以下操作：

从根目录中删除了 .txt 文件
已清除缓存（W3 总缓存）

但在我的浏览器中仍然可以看到 robots.txt。这可能只意味着一件事，文件是虚拟生成的，对吗？我什至在不同的浏览器中查看，以确保没有发生缓存。

经过大量搜索，我没有找到关于为什么我的 robots.txt 不会更新或它是从哪里生成的答案？

这里有人对发生的事情有任何想法吗？

我使用的一些插件：

更好的 WordPress Google XML 站点地图
W3 总缓存
酵母 SEO

任何帮助将不胜感激，谢谢。

【问题讨论】：

您使用的是什么网络服务器？例如，Nginx 会缓存静态文件。
是的，我正在运行 Nginx，但我以前从未见过它像这样缓存。有关清除它的最佳实践的任何想法？
你可以试试 Nginx Helper 插件或者运行sudo service nginx reload。
为帮助人员欢呼，但我刚刚意识到我启用了 Cloudflare，清除了缓存并工作了一次。小学生错误。
Cross-post

标签： wordpress robots.txt

【解决方案1】：

经过几个小时的头疼试图弄清楚这一点，结果我完全忘记了我启用了 Cloudflare。该缓存的清除完成了这项工作。

希望我的几个小时的痛苦没有白费，并提醒其他有类似问题的人通过阅读本文启用了 Cloudflare！

【讨论】：

我也清除了缓存但没有运气。您是如何在 Cloudflare 中做到这一点的？

【解决方案2】：

我有同样的问题当我更新我的 robots.txt 时，它恢复到之前的相同设置，当我删除它时它又回来了，因为它似乎是从网站虚拟创建的但是当我更新我的wordpress之后它又开始工作了也许尝试更新 wordpress

【讨论】：

似乎 wordpress 阻止了它，因为我的 wordpress 已经过时了，并且在我的 robots.txt 再次工作后我确实将它更新到了最新版本。现在我可以再次编辑它，它不再恢复为“ User-agent: * Disallow:”

【解决方案3】：

如果您使用cloudflare服务，则必须在缓存菜单中清空缓存，否则，您将不得不等待缓存再次清空，具体取决于浏览器缓存的时间。

【讨论】：