AWS 托管的 Apache 气流 (MWAA) 或 AWS Batch 用于简单的批处理作业流程

Question

我有一个简单的工作流程来设计，其中将有 4 个批处理作业依次运行，每个作业都在多节点主/从架构中运行。

我的问题是 AWS Batch 可以使用作业队列管理简单的工作流程，并且还可以管理多节点并行作业。 现在，我应该使用 AWS Batch 还是 Airflow？

使用 Airflow ，我可以使用 KubernetesPodOperator 并且作业将在 Kubernetes 集群中运行。但 Airflow 本身并不支持多节点并行作业。

注意：批处理作业是使用支持主/从架构的 Spring 批处理远程分区框架用 java 编写的。

Answer 1

AWS Batch 会更好地满足您的要求。

Airflow 是一种工作流编排工具，它用于托管许多作业，每个作业都有多个任务，每个任务的处理都很轻松。它最常见的用途是用于 ETL，但在您的用例中，您将拥有一个仅用于单个作业的整个 Airflow 生态系统，该作业（除非您手动将其分解为较小的任务）不会运行多线程。

另一方面，AWS Batch 用于批处理，您可以更精细地调整您希望代码在其上执行的服务器/节点。我认为在您的用例中，它也会比 Airflow 便宜。