在 Wordpress 网站中更改 robots.txt 文件导致 SEO 混乱答案

【问题标题】：SEO chaos from changing robots.txt file in Wordpress site在 Wordpress 网站中更改 robots.txt 文件导致 SEO 混乱
【发布时间】：2010-03-16 15:48:58
【问题描述】：

我最近使用 wordpress 插件在我的网站中编辑了 robots.txt 文件。然而，因为我这样做了，谷歌似乎已经从他们的搜索页面中删除了我的网站。如果我能就为什么会这样以及可能的解决方案获得专家意见，我将不胜感激。我最初这样做是为了通过限制 google 访问的页面来提高我的搜索排名。

这是我在 wordpress 中的 robots.txt 文件：

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

Sitemap: http://www.instant-wine-cellar.co.uk/wp-content/themes/Wineconcepts/Sitemap.xml

【问题讨论】：

在我看来，您几乎禁止了您网站上的每个网址。查看 google 的网站管理员工具，这应该可以帮助您了解为什么它没有将网站编入索引。

标签： wordpress plugins seo robots.txt

【解决方案1】：

对于 WordPress，这是一个很好的 robots.txt 指令。如果您希望上传的内容被编入索引，请添加 Allow: /wp-content/uploads，但这没有意义，因为您的所有图片、pdf 等都包含在您的帖子和页面中并在此处编入索引。

User-agent: *
Allow: /
Disallow: /*?s=
Disallow: /wp-admin/*
Disallow: /wp-content/*
Disallow: /wp-includes/*
Disallow: /wp-content/cache
Disallow: /wp-content/themes/*
Disallow: /trackback
Disallow: /comments
Disallow: /category/
Disallow: */trackback
Disallow: */comments

但最关键的信息是在您的页面来源中：

<meta name='robots' content='noindex,nofollow' />

这意味着您在仪表板/设置/隐私中设置了隐私，这会阻止所有搜索机器人，甚至在它们访问 robots.txt 之前。

一旦您获得了一个好的 robots.txt 文件并更改了 Wordpress 隐私设置，请使用 Google 网站管理员工具并提高您的抓取速度，以让 Google 更快地访问该网站。

【讨论】：

【解决方案2】：

注意：“您阻止了所有机器人，因为您在用户代理：* 之后缺少关键的允许：/”是不正确。默认情况下，robots.txt 将允许所有抓取，您通常不需要指定任何“允许”指令。

但是，“noindex”机器人元标记将是不将网站内容编入索引的原因。

此外，robots.txt 目前会阻止所有抓取，因此搜索引擎无法判断该网站是否可以再次被索引。如果您希望再次将该站点编入索引，则需要从 robots.txt 文件中删除“disallow: /”。您可以在 Google 的网站管理员工具中验证这一点，方法是查找最新的 robots.txt 文件或使用“Fetch as Googlebot”功能来测试对网站页面的抓取。

【讨论】：

【解决方案3】：

我建议您使用 google 网站管理员工具 robots.txt 检查器并输入正在消失的 URL，并确保 google 仍然会去那里。

这样你就可以验证它是你的 robots.txt 还是其他东西

【讨论】：