如何防止搜索引擎索引特定域的目录？答案

【问题标题】：How to prevent a search engine from indexing a directory for a particular domain?如何防止搜索引擎索引特定域的目录？
【发布时间】：2011-03-10 23:46:27
【问题描述】：

我有一个有 2 个域指向它的网络托管包。我在谷歌上注意到它已经为另一个域索引了一个域的目录。有没有办法防止这种情况发生。

【问题讨论】：

标签： indexing dns bots

【解决方案1】：

您可以尝试使用Robots exclusion standard，但不能保证。

【讨论】：

【解决方案2】：

将您的一个域的所有页面重定向到另一个域。您可以使用 .htaccess 和 modRewrite 来做到这一点，类似于：

RewriteEngine On
RewriteCond %{HTTP_HOST} ^example\.com$ [NC]
RewriteRule ^(.*)$ http://www.example.com/$1 [R=301,L]

这将执行从 example.com 到 www.example.com 的 301 重定向（永久移动）。

出于 SEO 的目的，您永远不想拥有重复的内容（不同 URL 上的相同页面），您的内容应该始终只有一个 URL，所有其他可能的 URL 都应该重定向到那个。

【讨论】：

【解决方案3】：

更新您的 robots.txt 肯定会在将来解决问题，但我认为您应该问的问题是，Google 是如何知道这些页面存在的？

首先，您应该确保用户不能遍历您网站的文件系统（如果您的服务器是 *nix，.htaccess 应该有类似 Options -Indexes 的内容）。而且，如果您在任何地方都有一个公共链接将两个站点连接到一个域中，那么这可能就是 Google 找到它的方式。如果您注意保持您的站点干净并且从不指向另一个 docroot 中的文件，那么将一个域托管在另一个域的子目录之外应该没有问题。

您可以使用它们的Webmaster Tools 清除 Google 对这些页面的索引。为了将自己标识为站点的所有者，您需要在各种文档根目录的根目录中安装一个唯一文件（他们为您创建），然后您可以手动更新他们拥有的站点部分索引。这仅适用于 Google。

如果您已被其他搜索引擎编入索引（如果 Google 为您编入索引，您可能已经被编入索引），您应该尝试弄清楚他们是如何到达那里的，解决问题，将第二个站点移至另一个文件夹（导致在您的主域上报告 404 Page Not Found 的页面），然后让搜索引擎重新索引。

【讨论】：

【解决方案4】：

如果您使用的是 Linux，那么在 .htaccess 文件中添加一些内容可能会起作用，但具体情况取决于您的站点设置。

【讨论】：