在阻止所有美国 IP 后，Google 是否能够访问我的网站？答案

【问题标题】：Will Google be able to access my website after blocking all US IPs?在阻止所有美国 IP 后，Google 是否能够访问我的网站？
【发布时间】：2013-10-22 13:14:46
【问题描述】：

我将通过这种方式使用 .htaccess 阻止所有美国 IP：

<Limit GET HEAD POST>
order deny,allow
deny from 3.0.0.0/8
deny from 4.0.0.0/25
deny from 4.0.0.128/26
deny from 4.0.0.192/28
deny from 4.0.0.208/29
....
allow from all
</Limit>

在屏蔽所有美国 IP 后，Google 是否能够访问我的网站并将其编入索引？

编辑：抱歉，含糊不清，但我确实希望 Google 将我的网站编入索引。

【问题讨论】：

可能是的。您是否考虑过使用 robots.txt？
这假设以下是正确的：1. Google 只会从美国地址抓取（Google 在许多国家/地区都有数据中心）2. 您的“美国地址”列表是 100% 准确的（我保证不是）
糟糕的是，我编辑了我的问题。我确实希望 Google 将我的网站编入索引，但由于某些技术原因，我不希望美国访问者目前出现在我的网站上。
基于位置的锁定是一个可怕的想法。只需声明您不与来自美国的人或您的网站所涉及的任何内容开展业务。
请考虑投赞成票以弥补我失去的赏金。由于您无法及时查看我的答案，因此我丢失了一半。谢谢。

标签： .htaccess googlebot

【解决方案1】：

虽然 Google 的服务器遍布全球，但很难说搜索引擎的机器人主要来自哪里。我的建议是阻止 IP 范围，但添加一个与 User-Agent 匹配的排除子句，用于搜索机器人，例如：

SetEnvIfNoCase User-Agent (googlebot|bingbot|yahoo!\sslurp) is_search_bot

<Directory /docroot>
    Order Deny,Allow

    Deny from 3.0.0.0/8
    Deny from 4.0.0.0/25
    Deny from 4.0.0.128/26
    Deny from 4.0.0.192/28
    Deny from 4.0.0.208/29

    Allow from env=is_search_bot
</Directory>

【讨论】：

【解决方案2】：

我不这么认为，但如果你真的不使用什么 google 来索引它，那么请使用 robots.txt 文件，这样它就不会索引它。 robots.txt 将是

User-agent: googlebot Disallow: /directory/

如果只是阻止美国 ip 的问题，那么你可能很好，因为谷歌在许多不同的地方都有数据中心，而不仅仅是美国。这意味着谷歌可能仍会将其编入索引。

【讨论】：

【解决方案3】：

虽然谷歌有很多数据中心，但他们所有的机器人都在美国，所以如果你阻止我们的 ips，谷歌将无法扫描你的网站

【讨论】：

【解决方案4】：

如果您无法访问您的域根目录，只需使用此meta tag 来阻止 google bot 索引特定页面：

<meta name="googlebot" content="noindex">

如果您的网站已被 Google 爬虫索引，请按照指南 Remove your own content from Google search results

【讨论】：

【解决方案5】：

访问：https://www.google.com/webmasters/

这里有你需要的所有信息。

在这里，Google 教您如何阻止 Googlebot 索引您的网站： https://support.google.com/webmasters/answer/93708

关于你的问题，我认为如果你屏蔽所有美国IP地址，“谷歌其他国家”必须访问和索引你的网站，然后他必须与谷歌美国同步。

【讨论】：