GWT 说 robots.txt 正在阻止资源——我的还是他们的？

Question

在 Google 网站管理员工具中，当我“以 Google 方式获取”时，它告诉我有 2 个被 robots.txt 阻止的资源：

• https://dash.reviews.co.uk/[cut]
• https://googleads.g.doubleclick.net/[cut]

但我看不到这些在我的 robots.txt 中是如何被阻止的，其中包含以下内容：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /category/
Disallow: /tag/
Disallow: /tools/

有什么线索吗？

Answer 1

您不必担心这些资源会被阻止，因为这些资源位于您无法控制的域上，并且会被它们的 robots.txt 文件阻止。

Google 网站管理员工具向您显示，对于您获取的页面，它无法查看相当常见的所有资源。 Google 和许多大型网站 robots.txt 他们的许多资源。 （DoubleClick 是 Google 拥有的财产）

只要您在“获取和渲染”时可以看到全部内容，您的状态就很好。