重写规则和谷歌搜索引擎答案

【问题标题】：Rewrite Rules & Google Search Engine重写规则和谷歌搜索引擎
【发布时间】：2012-03-06 20:39:59
【问题描述】：

我有一个网站位于

www.website.com

一些页面有一个重写代理规则指向

sub.website.com （驻留在不同服务器上的 wordpress 安装）

例如; www.website.com/some-article.aspx 显示来自 => sub.website.com/articles/some-article/ 的内容（并且地址保持不变）

问题是 Google 会对这两个页面进行索引，这会创建重复的内容。我只想让谷歌索引这个页面：www.website.com/some-article.aspx

谁有这方面的经验，或者有想法？

谢谢。

【问题讨论】：

【解决方案1】：

几个 WordPress 的 SEO 插件将规范标签添加到一个页面，该标签将告诉搜索引擎您的哪个域包含正式版本。激活后应该没有问题。

【讨论】：

【解决方案2】：

现在大多数搜索引擎都支持 head 部分中的规范链接元素，因此在您的 sub.website.com wordpress 安装中，您需要创建一个 wordpress 插件，该插件将为每个页面添加此元素，并带有正确的规范 URL。比如：

<link rel="canonical" href="www.website.com/some-article.aspx"/>

【讨论】：

【解决方案3】：

如果您不希望sub.website.com 上的任何内容被索引，您可以在sub.website.com 的根目录下创建一个robots.txt 文件并添加以下条目。

User-agent: *
Disallow: /

如果您只想限制某些目录，例如/articles，请将其更改为

User-agent: *
Disallow: /articles/

如果sub.website.com 的根目录与任何其他站点共享，例如www.website.com，然后查看post，了解如何修改 .htaccess 以提供正确的 robots.txt

【讨论】：

> 驻留在不同的服务器上
我实际上最终做了类似的事情。我创建了一个 robots.php 文件并制定了一个重写规则，将 robots.txt 指向 robots.php。 robots.php 会检查该地址是否被直接访问，如果是则显示“disallow: /”。谢谢。 :)