在气流中是否可以在多个工作节点上运行单个任务，即以分布式方式运行任务

Question

我正在使用 Spring Batch 创建批处理作业的工作流程。单个批处理作业需要 2 小时才能完成（要处理的数据约为 100 万），因此决定以分布式方式运行，其中一个任务将分布在多个工作节点上，这样它就可以在短时间内执行。工作流中的其他作业（都以分布式方式工作）需要一个接一个地按顺序运行。这些作业是多节点分布式作业（主/从架构），需要一个接一个地运行。

现在，我正在考虑在气流上部署工作流。因此，在探索时，我找不到任何方法来运行分布在多台机器上的单个任务。在气流中可以吗？

Answer 1

是的，您可以使用Spark 框架创建任务。 Spark 允许您以分布式方式处理多个节点上的数据。

然后您可以使用SparkSubmitOperator 来对齐 DAG 中的任务。