在不阻止搜索引擎机器人的情况下阻止美国流量？答案

【问题标题】：Blocking USA traffic without blocking search engine bots?在不阻止搜索引擎机器人的情况下阻止美国流量？
【发布时间】：2013-06-09 08:06:42
【问题描述】：

亲爱的朋友们需要你的大建议。我有一个网站，我不希望来自美国的任何流量（网站仅包含本地内容）。由于大多数访问者是通过搜索引擎访问我的网站的，因此我不想阻止那些搜索引擎机器人。

我知道怎么做

阻止来自 .htaccess 的 IP 地址。
从地理位置重定向用户。

我认为如果我阻止美国 ips，那么我的网站将不会在 Google 或 yahoo 中被编入索引。所以即使我不希望任何美国流量，我也需要在 Google 和 yahoo 中将我的网页编入索引。

依靠$_SERVER['HTTP_USER_AGENT'] 我可以允许机器人抓取我的网页。我的一位朋友告诉我，如果我阻止除漫游器以外的美国访问者，Google 会将我的网站黑名单，因为我的网站不允许美国访问者使用 Google 索引页面。

这是真的吗？如果是这样我应该怎么做这个问题？非常感谢任何建议。谢谢

【问题讨论】：

【解决方案1】：

为美国用户使用 JS 重定向。这将允许大多数搜索引擎机器人访问您的网站。
使用 Robots.txt 告诉 Google 在哪里阅读什么内容 http://support.google.com/webmasters/bin/answer.py?hl=en&answer=156449
有一种方法可以添加 Googlebot 的 IP 地址（或只是名称：http://support.google.com/webmasters/bin/answer.py?hl=en&answer=80553）作为例外。
使用地理定位并使用 JS div 阻止页面，或者只是添加一个横幅，告诉您的用户他们不能从他们的位置使用该网站

希望这会有所帮助，干杯，

【讨论】：

【解决方案2】：

我只是在这里回答这个问题，因为有人足够聪明，可以通过删除链接向 Google 的“网站管理员中心帮助论坛”发送垃圾邮件。我知道这个答案更像是评论，但我责怪这个问题，如果在 webmasters SE 中被问到，这个答案会更切题。

1 为什么要屏蔽美国访问者？我了解可能有一些法律原因（例如赌博）。但是您可以为美国访问者禁用这些功能，并允许他们查看内容和横幅，说明该网站对美国访问者不可用。搜索引擎对此没有任何问题（他们无论如何都无法赌博或购买东西），也没有伪装。

2 Victor 的回答包含一些 IMO 问题：

为美国用户使用 JS 重定向。这将允许大多数搜索引擎机器人访问您的网站。

在撰写本文时这可能是正确的，但如今 Google（以及>可能还有其他一些搜索引擎）能够运行 JavaScript，因此也会遵循重定向。

使用 Robots.txt 告诉 Google 在哪里阅读什么内容。

我建议改用 robots 元标记或 X-Robots-Tag 标头，或者向所有美国访问者回复 451 状态代码。

有一种方法可以添加 Googlebot 的 IP 地址作为例外。

伪装。

使用地理定位并使用 JS div 阻止页面，或者只是添加一个横幅，告诉您的用户他们不能从他们的位置使用该网站。

完全同意，这样做。

【讨论】：