Robot.txt 说被阻止但没有阻止任何东西？

Question

所以我正在尝试在我的网站上投放广告。它已经审查了一段时间，所以我正在做一些挖掘，也许有什么东西阻止了机器人爬行。我今天发现了这个，告诉我这是否意味着什么。

首先：我在谷歌搜索控制台上获取并呈现了我的网站。

我点击了上图右侧的 robots.txt 链接，它显示如下：

然后：我像所有谷歌机器人一样进行了机器人爬网，并被允许在我的机器人文件中使用。 直播文件：

在我网站的文件管理器中，上面的图片是我实际的 robots.txt 文件。那么，由于我的 robots 文件阻止了第二阶段的验证，我的广告无法通过验证吗？

Answer 1

您的 robots.txt 只能阻止来自您主机的网址。

来自 Google Search Console 的消息是关于外部网址的。该外部主机的 robots.txt 会阻止对相关 URL 的抓取。

对此您无能为力（除了自己托管外部脚本，但这当然不是在所有情况下都可行）。