【发布时间】：2012-12-26 17:27:49
【问题描述】：
有没有一种可靠的方法来防止谷歌抓取/索引/缓存页面？
我正在考虑创建一个产品，用户可以使用临时 URL 临时共享信息。
这些信息不是很机密，但我绝对不希望它出现在某些缓存甚至搜索结果中。
这样做最可靠的方法是什么，可能的陷阱是什么？
【问题讨论】：
标签： indexing http-headers privacy
【发布时间】：2012-12-26 17:27:49
【问题描述】：
制作一个 robots.txt 文件。有关信息，请参阅http://www.robotstxt.org/。
您也可以在 index.html 的 <HEAD> 中使用 <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">。
Google 对其 robots.txt 处理的规范是 here。
【讨论】：
-
谢谢。我只是想知道拥有这个文件有多现实，并让它按照我在问题中描述的方式工作。你有使用它的经验吗？
-
非常标准，我见过的唯一忽略它的代理是百度（后来我通过iptables强行屏蔽了它）。