【发布时间】：2020-11-19 12:29:21
【问题描述】：
我用scrapy写了一个蜘蛛。每次我尝试抓取特定网站时，蜘蛛一开始都运行得很好。但是当我下降到喜欢 500-600 的请求时，蜘蛛开始爬行非常缓慢。
我检查了内存和 cpu 设置，但这不是问题。我很确定该网站正在减慢我的请求速度。
我如何调整 scrapy 以快速且一致地抓取？
【问题讨论】：
【发布时间】：2020-11-19 12:29:21
【问题描述】：
如果网站降低了您的请求速度，最好对您发送的请求更加小心。 您可以尝试以下几件事：
- 设置'AUTOTHROTTLE_ENABLED'为True：当scrapy发现服务器响应慢时，会调整爬取速度
- 自己限制并发请求的数量（通过设置 CONCURRENT_REQUESTS_PER_DOMAIN），并更改 DOWNLOAD_DELAY 以在请求之间稍等
- 使用代理：很可能目标网站会根据 IP 限制您。使用代理可以解决这个问题，但如果目标服务器被您的请求超载，这将无济于事
【讨论】：