【问题标题】:Managed AWS Airflow with ECS Fargate DAG Jobs使用 ECS Fargate DAG 作业的托管 AWS Airflow
【发布时间】:2021-08-25 17:55:00
【问题描述】:

阅读本文:https://aws.amazon.com/blogs/containers/running-airflow-on-aws-fargate/

我不清楚;是否可以在 ECS Fargate 上运行 MWAA 并执行作业?或者要在 Ecstatics Fargate 上执行作业,您是否需要在 ECS Fargate 上运行整个 Airflow 堆栈?

【问题讨论】:

    标签: airflow amazon-ecs aws-fargate mwaa


    【解决方案1】:

    我建议阅读this document on AWS MWAAs,特别是the section on Architecture,因为它应该为您提供更多上下文。

    我不清楚;是否可以在 ECS Fargate 上运行 MWAA 并执行作业?

    是的。 MWAA 在 Fargate 上运行其 Airflow 组件(调度程序、工作程序等),并将自动在 Fargate 容器中执行其作业。它还将扩展容器的数量以满足需求。

    还有一个plethora of Airflow integrations 可用于将DAG 中的任务/节点卸载到其他服务(例如ECSBatch 等)

    【讨论】:

      【解决方案2】:

      没有很好的文档记录,但它是可能的。我们正在使用 ECS 任务运算符和自定义图像成功运行 MWAA。

      基本上你需要以下东西:

      • MWAA 环境
      • MWAA 执行角色,具有在 ECS 中运行任务访问 CloudWatch 日志的附加权限
      • ECS 任务定义

      您还需要在 MWAA 要求文件中添加 apache-airflow[amazon]

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2020-01-25
        • 2021-04-06
        • 2021-10-10
        • 2019-01-18
        相关资源
        最近更新 更多