seo 工具包 - robots.txt 规则不允许请求答案

【问题标题】：seo toolkit - request is disallowed by a robots.txt ruleseo 工具包 - robots.txt 规则不允许请求
【发布时间】：2016-03-25 00:07:23
【问题描述】：

我正在尝试在我正在运行的应用程序上运行 SEO 工具包 IIS 扩展，但我不断收到以下错误：

Robots.txt 规则不允许该请求

现在我已经在应用程序和根网站中编辑了 robots.txt 文件，因此它们都具有以下规则：

User-agent: *
Allow: /

但这没有任何区别，工具包仍然无法运行。

我什至尝试删除两个 robots.txt 文件，但仍然没有任何区别。

有谁知道 seo 工具包无法运行的任何其他原因或如何解决此问题？

【问题讨论】：

标签： iis seo

【解决方案1】：

基本上，robots.text 是一个不允许 Google 抓取管理员不允许的页面的文件，因此 Google 会忽略这些页面，这就是为什么这些页面永远不会排名并且 Google 永远不会显示该数据的原因。

【讨论】：

【解决方案2】：

robot.txt 可能已被缓存。停止/重新启动/卸载 IIS（应用程序）。 robots.txt 将刷新。打开浏览器重新加载文件。您甚至可以删除该文件以确保 IIS 没有缓存它。

【讨论】：

【解决方案3】：

【讨论】：

【解决方案4】：

要允许所有机器人完全访问，我建议使用以下语法（根据robotstxt.org）

User-agent: *
Disallow:

（或者只是创建一个空的“/robots.txt”文件，或者根本不使用）

allow directive 仅受“一些主要爬虫”支持。所以也许 IIS 搜索引擎优化 (SEO) 工具包的爬虫没有。

希望这会有所帮助。如果没有，您也可以尝试通过 IIS SEO Toolkit 的Managing Robots.txt and Sitemap Files learning resource。

【讨论】：