芹菜执行器和任务排序

Question

我正在使用带有 celery 执行器的气流。例如，我有 3 个任务。 任务1 >> 任务2 >> 任务3

当我的工作节点 = 1 时，我看到任务执行良好且顺序正确

但是，当我将工作节点增加到 2 时，我看到工作节点 1 选择了任务 1，工作节点 2 选择了任务 2。在我的用例中，任务 2 必须仅在任务 1 之后执行。我相信芹菜执行者会明白这一点。我的 dag 因此失败了

能否请您了解问题所在以及如何解决此问题？

Answer 1

最简单的解决方案是使用Chain 原语。 Celery 作为分布式任务队列系统的全部意义在于在不同的节点上同时运行任务，所以当你的任务在不同的机器上执行时不要惊慌。