Scrapyd 与 cron + git 挂钩

Question

我有一个包含大约 30 个蜘蛛的项目，所有蜘蛛都是通过 cron 作业安排的。每当我想部署一个项目时，我都会将项目 git push 到生产环境中，其中一个钩子会将文件放置到位。

现在我遇到了scrapyd，它似乎以一种更复杂的方式完成了这两个任务，例如将刮板程序化并将其部署到生产环境中。从代码来看，这个项目似乎在大约 3 年前就停止了。我想知道切换到scrapyd是否有优势，以及这段代码如此陈旧且不再处于开发状态的原因是什么。相比之下，Scrapy 本身会接收规则更新。

你会建议使用scrapyd吗？如果是，为什么？

Answer 1

我已经使用scrapyd 大约 2 年了，我更喜欢使用它而不是使用 scrapy crawl 启动你的工作：

• 您可以使用 `max_proc_per_cpu.您在达到最大值时启动的任何抓取工具都会排入队列并在有可用位置时启动。
• 您有一个简约的 GUI，您可以在其中检查队列和阅读日志。
• 使用 api 调用可以轻松地调度蜘蛛。列出蜘蛛、取消蜘蛛、...
• 即使同时运行多个蜘蛛，您也可以使用 http 缓存
• 如果您想将抓取分布在不同的服务器上，您可以一次部署在多台服务器上