【发布时间】：2018-12-08 00:47:48
【问题描述】：
我的客户希望我让他的网站在搜索结果中完全不可见，尤其是在 Google 搜索引擎中。该网站将是一个简单的展示单页网站，应该可以正常访问（无锁、无密码）。
我有几个想法肯定会奏效，还有一个我不确定。
什么肯定有效：
-
使用以下字符串调整 robots.txt：
User-agent: * Disallow: / -
在页眉中添加 nofollow 元标记：
<meta name="robots" content="noindex,nofollow" /> -
我可以检测所有请求中的用户代理字符串，列出已知机器人和抓取工具，如果匹配，我可以将它们踢出。我猜这也应该有效。
This link 应该有助于检测机器人，这些家伙似乎为已知的用户代理字符串提供 API。
域名选择也会影响搜索结果：
我的客户希望在某些国家/地区不上市。我注意到 Google 更喜欢根据我们的 IP 地址为我们提供结果，因此如果您的 IP 位于瑞典，那么您可以确定大多数结果都使用 *.se 域。 *com、*.net、*.org 等商业域似乎在所有情况下都是可见的，这是有道理的。所以这让我产生了疑问，域选择如何影响搜索结果。例如，如果我更喜欢对德国人隐藏，我当然不应该使用 .de 域名，我应该避免使用商业域名。好的，我可以选择另一个国家，但这似乎很奇怪，我更喜欢new domains extension 像（.club、*.art、*.shop、*.name 等）但是在这里我不确定 Google 会如何对待这些领域。如果他们表现得像商业域，那么我应该留在其他国家代码域。
我希望我的意图在这里很明显。我很乐意在这里为您提供宝贵的建议，如果我能做更多的事情，或者如果有人可以为领域问题带来更多的启发，我将非常高兴。
【问题讨论】：
标签： html web-crawler search-engine googlebot