防止 googlebot 索引同一主机帐户上的其他域

【问题标题】：Prevent googlebot from indexing other domains on same hosting account防止 googlebot 索引同一主机帐户上的其他域
【发布时间】：2017-08-18 05:23:03
【问题描述】：

我有一个托管帐户，用于托管 3 个网站。所有 3 个网站都是相互独立的。

主机帐户链接到主域。让我们称之为 www.maindomain.com 并且该网站的文件位于主机的根目录。

另外两个域 www.domainA.com 和 www.domainB.com 分别链接到子文件夹 domainA 和 domainB。

google 在 maindomain.com 的搜索结果中显示 www.maindomain.com/domainA 和 www.maindomain.com/domainB，尽管 domainA 和 domainB 与该网站无关，只是它们托管在同一个托管帐户中.

在抓取 maindomain.com 时，如何防止 googlebot 将 domainA 和 domainB 子文件夹编入索引。我可以使用 robots.txt 并防止子文件夹抓取（但它会阻止谷歌将 www.domainA 和 www.domainB 索引为单独的实体吗？）

【问题讨论】：

【解决方案1】：

假设 domainA 和 domainB 是使用相应的子文件夹作为文档根目录设置的，您可以在主域中将 robots.txt 定义为

User-agent: *
Disallow: /domainA/
Disallow: /domainB/

仅排除 Googlebot 并允许所有其他人

User-agent: googlebot
Disallow: /domainA/
Disallow: /domainB/

但请记住，这些域似乎不是由完整的 URL 链接的，例如 http://domaina.com/some/path，而是 /domainA/some/path。

您可以通过将hrefs 替换为完整的限定网址来防止抓取。

【讨论】：