Scrapyd 与 Windows 任务计划程序

Question

我想在 Azure 虚拟机上运行一小组 Scrapy 蜘蛛。我正在寻找自动化解决方案。目前看来，Windows 任务计划程序将完成在一个 vm 实例上运行 3-5 个蜘蛛的工作。我唯一担心的是我是否可以让这几个蜘蛛并行运行？

如果 Task Scheduler 已经可以并行运行蜘蛛，那么使用 Scrapyd 的更长期的优势是什么？如果长期范围内有 100 只蜘蛛？作为替代方案，也许一些带有任务调度程序的虚拟机也可以完成这项工作。由于 Windows 上的其他发展，我正试图远离 Linux，而且我看到了一些对在 Windows 上使用 Scrapyd 的担忧。

Answer 1

我在尝试在 Windows 上设置 Scrapyd 时遇到了问题，特别是 Scrapyd-Client。我联系了运行它的开发人员，他们提到 Windows 的 Scrapyd 服务器不是该项目的一部分。有趣的是，因为我实际上设法在没有特定问题的情况下运行它，有一个 pip 安装，我只是没有设法正确开始使用 Scrapyd-Client。 SOF 上的一些人声称已经能够在 Windows 上运行 Scrapyd，但 Linux 在此工具方面处于领先地位，因此我不会反对当前。

Scrapy 是一个很棒的工具，但至少对我来说，让 Scrapyd 与 Windows 一起工作并不是我所期望的体验，所以暂时我将使用一个基本的 Windows 任务计划程序选项。