如何对搜索引擎隐藏网站？ [关闭]答案

【问题标题】：How do I hide a site from search engines? [closed]如何对搜索引擎隐藏网站？ [关闭]
【发布时间】：2011-10-07 15:22:18
【问题描述】：

我想隐藏一个网站，这样它就不会出现在任何搜索引擎中，只是想知道我该怎么做？

【问题讨论】：

这应该是“通过默默无闻的安全”还是你在做一些恶意的事情？

标签： search hide

【解决方案1】：

您可以以某种方式减少使用robots.txt 列出的网站。请注意，这取决于爬虫的“善意”（一些垃圾邮件机器人会明确查看您禁止的位置）。

遗憾的是，唯一安全可靠的不列出网站的方法就是不将其放到互联网上。

仅仅不链接到您的网站是行不通的。爬虫从许多来源获取信息，包括浏览器引荐来源网址和域名注册商。因此，为了“不可见”，您必须不访问您的站点，也不注册域（只能通过 IP 地址访问它）。
然后，如果你基于 IP 地址运行你的网络服务器，你仍然有所有的垃圾邮件机器人探测随机地址。这需要一段时间，但他们会找到你的。

保护您的网站的密码应该有效，有效地使其无法访问。虽然（我无法理解这是如何发生的）例如，Google 中列出了数以千计的 ACM 论文，如果没有帐户并登录，您将无法看到它们。但它们就在那里。

【讨论】：

【解决方案2】：

最合适的搜索引擎使用机器人或爬虫来访问网站并将其编入索引。你可以Robot File method

【讨论】：

【解决方案3】：

使用robots.txt，拒绝所有搜索引擎。他们并不都尊重 robots.txt，因此请定期检查您的服务器日志并拒绝来自可疑机器人/爬虫的范围：

http://httpd.apache.org/docs/2.2/howto/access.html

【讨论】：

【解决方案4】：

您需要阅读有关应该复制到您网站的 webroot 中的 robots.txt 文件 - http://www.robotstxt.org/robotstxt.html。

【讨论】：

【解决方案5】：

看看nofollowWikipedia

【讨论】：

【解决方案6】：

您使用robots.txt 文件。将文件放在具有以下内容的站点的根目录中：

User-agent: *
Disallow: /

【讨论】：

【解决方案7】：

除了使用密码保护您的网站外，您还可以将这些行添加到robots.txt：

User-agent: *
Disallow: /

这不会隐藏网站，而是指示机器人不要抓取内容。

【讨论】：

【解决方案8】：

使用 robots.txt 文件：http://www.google.com/support/webmasters/bin/answer.py?answer=156449

【讨论】：

密码保护整个网站。
根据该链接，“您不应该使用 robots.txt 作为在 Google 搜索结果中隐藏您的网页的手段。这是因为其他网页可能指向您的网页，而您的网页可能会“见developers.google.com/search/reference/robots_meta_tag