获取页面失败，因为它被 robots.txt 拒绝答案

【问题标题】：fetching the page failed because it's denied by robots.txt获取页面失败，因为它被 robots.txt 拒绝
【发布时间】：2020-08-30 16:51:20
【问题描述】：

我正在尝试在推特卡验证器中使用推特标签验证我的页面。但我总是收到错误：“错误：获取页面失败，因为它被 robots.txt 拒绝。”
如果我尝试在 robots.txt 上观看：'http://domain.subdomain.com/robots.txt'，它看起来像：

User-Agent: Twitterbot
 Disallow:

我已尝试将其更改为：

User-Agent: *
 Disallow:

但这并没有帮助。我哪里不对？

【问题讨论】：

【解决方案1】：

我遇到了同样的问题，在深入研究之后，我了解到 TwitterBot 遵循内部重定向，它们也不应该被阻止。

我使用了以下网站robots.txt Validator and Testing Tool 来查看发生了什么。如果您标记检查资源复选框，它将遵循所有重定向。

您可以在此处验证您的 Twitter 卡：Card Validator

【讨论】：