为什么 Google 网站管理员工具会完全误读我的 robots.txt 文件？答案

【问题标题】：Why is Google Webmaster Tools completely misreading my robots.txt file?为什么 Google 网站管理员工具会完全误读我的 robots.txt 文件？
【发布时间】：2013-12-02 08:07:37
【问题描述】：

以下是我的 robots.txt 文件的全部内容。

User-agent: *
Disallow: /marketing/wp-admin/
Disallow: /marketing/wp-includes/

Sitemap: http://mywebsite.com/sitemap.xml.gz

它显然是由 Wordpress 生成的。我还没有手动创建。

然而，当我今天注册 Google 网站管理员工具时。这是 Google 网站管理员工具看到的内容：

User-agent: *
Disallow: /

...所以我所有的网址都被屏蔽了！

在 Wordpress 中，设置 > 阅读 > 搜索引擎可见性：“不鼓励搜索引擎索引此站点”未选中。我最近取消了它。（Google 网站管理员工具告诉我它在 2013 年 11 月 13 日下载了我的 robots.txt 文件。）

...那为什么它还在阅读我所有页面都被禁止的旧版本，而不是新版本？

需要一段时间吗？我应该耐心等待吗？

我的站点地图行末尾的“.gz”是什么？我正在使用 Yoast All-in-One SEO pack 插件。我在想插件添加了“.gz”，不管是什么。

【问题讨论】：

gzip - 也请耐心等待。谷歌做了很多缓存和随机调度。它可能会自行解决。
这需要时间，有时长达一个月。

标签： wordpress robots.txt google-search-console

【解决方案1】：

您可以在更改 robots.txt 后让 Googlebot 重新抓取。有关信息，请参阅Ask Google to crawl a page or site。

站点地图文件会告诉 Googlebot 更多有关您网站结构的信息，并允许它更有效地抓取。请参阅About Sitemaps 了解更多信息。

.gz 只是告诉 Googlebot 生成的站点地图文件已压缩。

【讨论】：

【解决方案2】：

可以在此处找到有关此主题的 WordPress 讨论：https://wordpress.org/support/topic/robotstxt-wordpress-and-google-webmaster-tools?replies=5

【讨论】：