Scrapy ROBOTSTXT_OBEY 在所有情况下都不起作用

Question

所以我设置了一个 Scrapy 项目，并启用了 ROBOTSTXT_OBEY 中间件，该中间件在以下格式的 robots.txt 文件上运行良好：

用户代理：* 禁止：/tools/

但是，当网站上的同一蜘蛛具有以下格式的 robots.txt 文件时，它就不起作用了：

用户代理：* 不允许：*?next

这会导致仍被抓取的页面应该被 robots.txt 阻止，顺便说一下，robots.txt 文件的标记完全有效。

只是想知道是否有人可以解释为什么会这样？

Answer 1

Scrapy 使用不支持通配符的 Python 标准 robots.txt 解析器。