基于 HTTP 的作业管理器消息队列

Question

我有一个工作人员目前只能通过 HTTP 接受作业/任务。也就是说，它不是运行一个监听 TCP 端口的守护进程并只获取原始消息，而是只监听 HTTP 消息。 （我知道 HTTP 只是 TCP 上的一个附加层）。因此，必须围绕 HTTP 消息构建和包装作业。

我想使用作业管理器对任务进行排队，并通过 HTTP 将这些任务发送到如上所述的工作人员池。

是否有通过 HTTP 中继任务的作业管理器？我不是说通过 HTTP 接受任务，这没关系，但他们必须能够通过 HTTP 向工作人员发送任务。

作业管理器还具有其他功能，例如容错。即使 HTTP 连接不是持久的，是否可以复制工作人员将通过 HTTP 返回到作业管理器的所有 TCP 信号？

我正在考虑使用代理将 TCP 消息转换为 HTTP 消息的一种解决方案。但这似乎很难做到。

Answer 1

我相信更好的架构应该是成熟的作业队列 + 用于工作人员 API 的包装器。

1. 您可以根据自己的要求选择作业调度程序/队列（Celery 或任何您喜欢的）
2. 编写一个能够向您的工作人员提交作业、报告工作人员状态等的包装脚本。