隐藏秘密文件夹的最佳 robots.txt 做法答案

【问题标题】：Best robots.txt practice to hide secret folder隐藏秘密文件夹的最佳 robots.txt 做法
【发布时间】：2017-07-18 03:31:35
【问题描述】：

我的网站中有一个秘密文件夹，我不想让搜索引擎知道它。我没有将文件夹名称放在 robots.txt 的 Disallow 规则中，因为在 robots.txt 中写入此文件夹名称意味着告诉我的访问者有关该秘密文件夹的信息。

我的问题是，即使我没有发布到该文件夹的任何链接，搜索引擎是否能够了解/抓取该文件夹？

【问题讨论】：

【解决方案1】：

向所有人隐藏目录的唯一真正可靠的方法是将其置于密码后面。如果你绝对不能把它放在密码后面，一个创可贴的解决方案是将文件夹命名为：

http://example.com/secret-aic7bsufbi2jbqnduq2g7yf/

然后只屏蔽名称的第一部分，如下所示：

Disallow: /secret-

这将有效地阻止目录而不透露其全名。它会阻止任何服从 robots.txt 的爬虫爬取该目录，但它不会使恶意爬虫轻松找到该目录。只是不要将其误认为是实际的安全性。这将使主要的搜索引擎排除在外。除此之外没有任何保证。同样，让每个人都远离秘密目录的唯一真正可靠的方法是将目录放在密码后面。

【讨论】：

【解决方案2】：

是的，他们可以抓取它。

您的文件夹根本不是“秘密”。快速搜索 curl 命令行以下载整个站点，然后在您的站点上尝试以说服自己您的安全方法无效。

您可以使用 .htaccess 来防止代理请求目录列表，如果您不给文件夹起一个明显的名称（例如“站点”），这可能会很好地保护您，但我会对其进行测试。见deny direct access to a folder and file by htaccess

【讨论】：

所以从技术上讲，我们无法隐藏它吗？我们能做的只是保护它，对吧？
是的，你应该这样做。
好的，谢谢。无论如何，他们也能索引这个文件夹中的所有文件吗？
搜索“curl crawl site”：并尝试命令：例如wget --wait=9 --recursive --level=2 http://example.org/（只有两层深）
如果 URL 真的没有链接到任何地方，像 wget 这样的工具就找不到它。您（搜索引擎机器人、工具等）必须猜测 URL。