如何通过网站管理长时间运行的任务

Question

我有一个 django 网站，在那里我可以在某些网站上注册一些事件侦听器和监视任务，查看有关这些任务的信息、编辑、删除等。这些任务运行时间很长，所以我将它们作为任务启动异步事件循环。我希望它们独立于 django 网站，因此我在 Sanic 网络服务器旁边的事件循环中运行这些任务，并使用来自 django 服务器的 api 调用来控制它。我不知道为什么，但我仍然觉得这个解决方案很磨损，那么有没有更好的方法呢？我正在考虑使用 kubernetes，但这些任务并不占用大量资源并且很简单，所以我认为不值得为每个任务启动新的 pod。 感谢您的帮助。

Answer 1

理想情况下，为新活动或工作启动新 pod 总是一个好主意。

您可以在 Kubernetes 中使用 cronjob，以便在工作完成时自动删除它们。

最好保持单独的小型微服务，而不是在容器内运行整个单体应用程序。

在管理方面，使用启动新 pod 也很容易管理，如果您根据资源要求扩展和缩小集群，也很划算。

您还可以使用消息代理和侦听器，它们将侦听消息代理中的通道并执行异步任务或事件（如果有）。 Listen 考虑为单独的 pod。