【发布时间】：2014-10-06 15:27:23
【问题描述】：
我使用 Scrapy 已经有一段时间了，我一直在寻找是否可以在不同的机器（相同的 IP）上同时使用一个或多个蜘蛛（并行抓取）来加速 Scrapy；但我还没有找到与此相关的任何内容。有人知道吗？
任何帮助将不胜感激，谢谢。
【问题讨论】：
【发布时间】：2014-10-06 15:27:23
【问题描述】：
没有内置的方法可以做到这一点，但您可以通过使用多个 scrapyd 实例来完成分布式抓取。您只需要发出单独的调度请求（每个 scrapyd 服务器实例 1+）。
http://doc.scrapy.org/en/latest/topics/practices.html#distributed-crawls
【讨论】：