防止搜索引擎索引网页答案

【问题标题】：Prevent Search Engine Indexes a Web Page防止搜索引擎索引网页
【发布时间】：2011-11-28 09:58:05
【问题描述】：

我有一个成员控制面板页面，我不希望搜索引擎对其进行索引。

我做了以下事情：

name="robots" content="noindex,nofollow"

这个解决方案足够好吗？

【问题讨论】：

【解决方案1】：

如果页面是安全的，它的内容就不能被索引。即使，它的内容也会被低评价。

如何重定向用户？使用响应标头或 HTML 元重定向/JavaScript？

【讨论】：

【解决方案2】：

【讨论】：

【解决方案3】：

元数据无关紧要，如果页面将任何身份不明的用户重定向到不同的页面，那么重定向的 URL 将永远不会被索引。

【讨论】：

【解决方案4】：

大多数搜索引擎机器人（所有合法的）都会遵守此说明。然而，你真正做的只是很好地要求机器人不要索引你的页面。它不会强制任何类型的行为，只是请求它。

你可以...

需要授权才能查看页面。机器人将不会通过身份验证，因此无法查看页面以将其编入索引。
将404 错误返回到User-Agent: 字符串位于已知搜索引擎机器人列表中的任何请求。有很多网站（例如 this one）可以让您轻松编制这样的列表。

【讨论】：