Google 不会在 s3 上读取我的 robots.txt答案

【问题标题】：Google wont read my robots.txt on s3Google 不会在 s3 上读取我的 robots.txt
【发布时间】：2012-09-26 16:17:40
【问题描述】：

由于谷歌正在抓取我们的静态内容（存储在 s3 上），我们在（存储桶的）根目录中创建了一个 robots.txt.. 如下

User-agent: *
Disallow: /

现在，由于我们想从 google 搜索中删除现有内容 .. 我们在 google webmaster a/c 中添加了存储桶 .. 并请求删除目录

现在的问题是 google 无法识别或读取 robots.txt（这是将来阻止 google 阻止所需要的）。我们在网站管理员工具中收到此消息

此站点不在域的顶层。 robots.txt 文件仅在位于最高级别目录时才有效，并且适用于域内的所有目录。适用于您网站的 robots.txt 文件（如果存在）位于 http://s3.amazonaws.com/robots.txt。此页面提供有关该文件的信息。

【问题讨论】：

【解决方案1】：

当我尝试查看您的 robots.txt 时收到拒绝访问错误，您确定 Google 可以看到您的 robots 文件吗？

此外，您可以实时check your robots.txt at Google 并准确确认 Google 在查看您的 robots.txt 时看到的内容（如果他们甚至可以看到的话）。

【讨论】：

想知道您是如何获得指向我的 robots.txt 的链接的。无论如何，现在使用@Ryan 建议的 DNS 样式存储桶 url 解决了问题
我的 robots.txt 位于 s3.amazonaws.com/[mybuckname]/Robots.txt 但谷歌只接受位于根文件夹 s3.amazonaws.com/Robots.txt.. 的 robots.txt 我无法控制。

【解决方案2】：

您为您的存储桶向 Google 提供了哪个 URL？您需要使用 DNS 样式 {bucket}.s3.amazonaws.com，而不是 路径样式 s3.amazonaws.com/{bucket}。

【讨论】：

感谢您的提示。已将我的 s3 文件路径从 s3.amazonaws.com/bucketname/ 更改为 bucketname.s3.amazonaws.com .. 现在谷歌识别出了我的 robots.txt
不要忘记，如果您的网站上有以下形式的链接，Google 仍会抓取您的文件：s3.amazonaws.com/bucketname/SOMEFILE - 您需要更改所有内容才能使用 {bucket }.s3.amazonaws.com/SOMEFILE 链接各处，以使 robots.txt 达到预期效果。