scrapy爬虫占用大量CPU

Question

我有多个蜘蛛在多个实例 (4) 中并行运行。他们都使用了几乎 100% 的 cpu 使用率。

我已经使用 scrapyd 部署了它们。尝试将 max_concurrent_requests、CONCURRENT_REQUESTS、CONCURRENT_REQUESTS_PER_DOMAIN 等 scrapyd 设置更改为最小值，但没有成功。

我正在使用 python 2.7.5 和 刮痧 0.24

我搜索了解决方案并找到了这个页面

https://groups.google.com/forum/#!topic/scrapy-users/Rgq07ldcoPs

我无法得到他们的解决方案

提前致谢

Answer 1

解决了这个问题。问题在于频繁的 Mysql 更新，最终导致 CPU 负载。在管道中引入一分钟延迟以减少负载，从而解决了整个问题。