我们在爬取网站的时候，scrapy 默认的是遵循 robots.txt 协议，怎么破解这个文件 操作很简单，找到setting 文件 直接改成 相关文章： 2021-10-04 2021-07-19 2022-01-16 2021-11-19 2022-12-23