Amazon AWS 上的 Django + Celery - 使用单独的 EC2 实例作为工作人员

Question

我有一个 Django 应用程序。我正在使用 Celery 在后台运行长时间运行的进程。应用程序和 celery 工作者都在同一台机器上运行。

现在我们正在将我们的服务器迁移到 AWS。在 AWS 上，我们要创建如下设置：

我们有 n 个运行应用服务器的 EC2 实例，我们有 m 个 EC2 实例作为工作线程。当我们需要做一个长时间运行的进程时，app server 将这个作业发送给 worker，worker 处理这个作业。但这项工作取决于 Django 模型和数据库。

我们如何设置工作人员以使他们能够运行这些依赖于 django 模型的作业？

Answer 1

这不是 AWS 特定的。

你必须：

1. 确保每台服务器都有相同版本的应用代码
2. 分布在服务器上的所有工作人员都使用相同的任务代理和结果后端
3. 工作人员可以连接到您的数据库（如果需要）

更详细的配置建议需要更多信息:)

Answer 2

另一种方法是使用 EC2 容器服务，它有两个不同的运行 docker 容器，一个用于应用程序，一个用于工作程序。