Facebook 和 Google 会读取本地 robots.txt 文件吗？ [关闭]答案

【问题标题】：Are local robots.txt files read by Facebook and Google? [closed]Facebook 和 Google 会读取本地 robots.txt 文件吗？ [关闭]
【发布时间】：2014-10-13 11:37:51
【问题描述】：

我有一个半公开的文件夹：该 URL 未链接，知道该 URL 的人只是几个朋友（不会链接它），它足够神秘，可以确保没有人意外登陆.

但是，该链接是通过 Googlemail 和 Facebook 消息发送的。有没有办法在本地 robots.txt 文件中告诉 Facebook 和 Google 不要索引该页面？

当我将它添加到“全局”robots.txt 文件中时，每个看过那里的人都会看到我的/secret-folder-12argoe22v4 中可能有一些有趣的东西。所以我不会那样做。但是 Facebook / Google 会看/secret-folder-12argoe22v4/robots.txt吗？

内容是

User-agent: *
Disallow: .

或

User-agent: *
Disallow: /secret-folder-12argoe22v4/

【问题讨论】：

没有“本地robots.txt”之类的东西——根据其定义，robots.txt 位于根级别。 // 您可以尝试使用 robots 元标记来禁止索引。
询问搜索引擎将如何显示/排名/解析您的网站是题外话。它可能更适合Webmasters，但请检查其范围和现有问题。

标签： facebook seo robots.txt

【解决方案1】：

正如 CBroe 所述，robots.txt 文件必须始终位于网站的顶层。如果你把它放在一个子目录中，它将被忽略。您可以阻止目录而不公开其全名的一种方法是仅阻止其中的一部分，如下所示：

User-agent: *
Disallow: /secret

这将阻止任何以“/secret”开头的网址，包括“/secret-folder-12argoe22v4/”。

我应该指出，上述方法并不是将文件排除在搜索引擎之外的 100% 可靠方法。它将阻止搜索引擎直接抓取目录，但如果其他一些站点链接到它，它们仍然可以在搜索结果中显示它。您可以考虑改用漫游器元标记，但即使这样也不会阻止某人直接关注站外链接。保持目录私有的唯一真正可靠的方法是将其置于密码后面。

【讨论】：