使用scrapyd有什么优势？

Question

scrapy 文档说：

Scrapy 带有一个名为“Scrapyd”的内置服务，它允许您部署（也称为上传）您的项目并使用 JSON 网络服务控制它们的蜘蛛。

一致性使用scrapyd有什么优势吗？

Answer 1

Scrapyd 允许您通过方便的 Web API 在与您正在使用的机器不同的机器上运行 scrapy，这意味着您可以使用 curl 甚至是 Web 浏览器来上传新的项目版本并运行它们。否则，如果你想在云端运行 Scrapy，你必须 scp 复制新的蜘蛛代码，然后使用 ssh 登录并生成你的 scrapy crawl myspider。

如果您想并行运行多个蜘蛛，Scrapyd 也会为您管理进程；但是，如果您在本地机器上安装了 Scrapy，并且可以访问命令行或运行蜘蛛的方式，并且只想一次运行一个蜘蛛，那么您最好手动运行蜘蛛。

如果您正在开发蜘蛛，那么您肯定不想使用scrapyd 进行快速编译/测试迭代，因为它只会增加一层复杂性。