使用 ECS Fargate DAG 作业的托管 AWS Airflow答案

【问题标题】：Managed AWS Airflow with ECS Fargate DAG Jobs使用 ECS Fargate DAG 作业的托管 AWS Airflow
【发布时间】：2021-08-25 17:55:00
【问题描述】：

我不清楚；是否可以在 ECS Fargate 上运行 MWAA 并执行作业？或者要在 Ecstatics Fargate 上执行作业，您是否需要在 ECS Fargate 上运行整个 Airflow 堆栈？

【问题讨论】：

【解决方案1】：

我建议阅读this document on AWS MWAAs，特别是the section on Architecture，因为它应该为您提供更多上下文。

我不清楚；是否可以在 ECS Fargate 上运行 MWAA 并执行作业？

是的。 MWAA 在 Fargate 上运行其 Airflow 组件（调度程序、工作程序等），并将自动在 Fargate 容器中执行其作业。它还将扩展容器的数量以满足需求。

还有一个plethora of Airflow integrations 可用于将DAG 中的任务/节点卸载到其他服务（例如ECS、Batch 等）

【讨论】：

【解决方案2】：

没有很好的文档记录，但它是可能的。我们正在使用 ECS 任务运算符和自定义图像成功运行 MWAA。

基本上你需要以下东西：

您还需要在 MWAA 要求文件中添加 apache-airflow[amazon]。

【讨论】：