Google 中的重复内容。 Drupal的搜索引擎优化

Question

我有一个正在运行的 Drupal 站点。该网站未针对 SEO 进行适当优化，并且由于 /category、/taxonomy 等原因，在 google 中生成了大量重复内容

结构是：

/var/www/appname/ 这包含一个自定义构建的应用程序 /var/www/appname/drup 这包含我的drupal安装

我在 google 搜索 site:appname.com 中查看了网站结果，并且由于 /content、/taxonomy、/node 等原因，有很多重复的内容。

我的 ROBOTS.txt .. in /var/www/appname 已经包含以下内容，但我很惊讶这些页面仍然被编入索引。请指教。

User-agent: *
Crawl-delay: 10

Allow: /
Allow: /drup/

# Directories
Disallow: /drup/includes/
Disallow: /drup/misc/
Disallow: /drup/modules/
Disallow: /drup/profiles/
Disallow: /drup/scripts/
Disallow: /drup/themes/
# Files
Disallow: /drup/CHANGELOG.txt
Disallow: /drup/cron.php
Disallow: /drup/INSTALL.mysql.txt
Disallow: /drup/INSTALL.pgsql.txt
Disallow: /drup/install.php
Disallow: /drup/INSTALL.txt
Disallow: /drup/LICENSE.txt
Disallow: /drup/MAINTAINERS.txt
Disallow: /drup/update.php
Disallow: /drup/UPGRADE.txt
Disallow: /drup/xmlrpc.php
# Paths (clean URLs)
Disallow: /drup/admin/
Disallow: /drup/comment/reply/
Disallow: /drup/contact/
Disallow: /drup/logout/
Disallow: /drup/node/add/
Disallow: /drup/search/
Disallow: /drup/user/register/
Disallow: /drup/user/password/
Disallow: /drup/user/login/
# Paths (no clean URLs)
Disallow: /drup/?q=admin/
Disallow: /drup/?q=comment/reply/
Disallow: /drup/?q=contact/
Disallow: /drup/?q=logout/
Disallow: /drup/?q=node/add/
Disallow: /drup/?q=search/
Disallow: /drup/?q=user/password/
Disallow: /drup/?q=user/register/
Disallow: /drup/?q=user/log 

Answer 1

您只需要一个 XML 站点地图，告诉 Google 所有页面在哪里，而不是让 Google 自行抓取它。

事实上，当 Stackoverflow 处于测试阶段时——他们试图让爬虫发挥它的魔力。但是，在高度动态的网站上，几乎不可能以这种方式获得足够的结果。

因此，通过 XML 站点地图，您可以告诉 Google 每个页面的位置、优先级以及更改频率。

Answer 2

有几个模块可以处理 SEO 和重复内容。 我首先建议安装并检查http://drupal.org/project/seo_checklist 对于重复的内容，您可以查看http://drupal.org/project/globalredirect

无论如何，/taxonomy 和 /content 只是列表，您可能希望用某种自定义内容覆盖它们的路径，并让爬虫知道它们正在查看的内容，而不是禁止它们。

Answer 3

您可以禁止显示重复内容的目录。正如您所解释的，/content、/taxonomy、/node 正在显示重复的内容。

在 robots.txt 文件的目录部分添加以下代码，以限制搜索引擎对这些目录的访问。

禁止：/drup/content/ 禁止：/drup/taxonomy/ 禁止：/drup/node/

Answer 4

您是否有能力使用 Google 网站管理员工具验证网站的所有权：

http://www.google.com/webmasters/tools

如果是这样，我建议您这样做，然后在该网站的“诊断”类别下尝试“以 Googlebot 方式获取”。如果您的 robots.txt 正常工作，您的“获取状态”将显示“被 robots.txt 拒绝”。

在您更改 robots.txt 后，已编入索引的网页可能会暂停一段时间并显示在 Google 搜索结果中。但 Fetch As Googlebot 可让您实时指示 Googlebot 来敲门时发生的情况...

如果您不希望编入索引的 URL 被检索到没有问题，那么您需要关注 robots.txt 的问题...它的位置、语法、列出的路径等。我总是建议人们在浏览器（在他们网站的根目录）中手动检索它，以仔细检查明显的错误。