将 robots.txt 中的多个用户代理与 Scrapy 匹配答案

【问题标题】：Match multiple user-agents in robots.txt with Scrapy将 robots.txt 中的多个用户代理与 Scrapy 匹配
【发布时间】：2020-01-20 15:32:13
【问题描述】：

我是 Scrapy 的新手，我想知道如何让蜘蛛遵守 robots.txt 文件中两个或多个用户代理的规则（例如，Googlebot 和 Googlebot-Mobile）。

我目前正在使用ROBOTSTXT_USER_AGENT，但该选项仅允许我指定一个用户代理字符串以用于在 robots.txt 文件中进行匹配，并且我需要匹配至少两个用户代理。你知道有什么办法吗？

【问题讨论】：

【解决方案1】：

我刚刚使用/ 将用户代理分开以进行匹配，它起作用了：

"ROBOTSTXT_USER_AGENT": "Googlebot | Googlebot-Mobile | *"

【讨论】：