max_active_runs 不限制 AWS 托管 Airflow 中的 dag 运行答案

【问题标题】：max_active_runs not limiting dag runs in AWS managed Airflowmax_active_runs 不限制 AWS 托管 Airflow 中的 dag 运行
【发布时间】：2021-09-01 13:18:36
【问题描述】：

我正在使用 AWS 托管气流来编排数据管道。管道中的所有 dag 运行都是从 lambda 函数手动触发的。我希望 Airflow 在任何给定时间执行一次 dag。我正在使用max_active_runs 和concurrency 来控制它，但由于某种原因它不起作用。当两个 dag 运行并行执行时，两个 dag 运行都会被执行，而不是一个被执行，另一个被排队。

气流版本：2.0.2

Dag 初始化：

with DAG('trigger_data_vault',
         catchup=False,
         default_args=default_args,
         schedule_interval=None,
         concurrency=1,
         max_active_runs=1
         ) as dag:

Airflow Dag 运行：

【问题讨论】：

这是一个错误。讨论：github.com/apache/airflow/issues/9975

标签： amazon-web-services airflow mwaa

【解决方案1】：

这是 Airflow 本身的一个错误 https://github.com/apache/airflow/issues/9975

【讨论】：

该死的。我遇到了同样的问题。在解决此问题之前如何缓解此问题的任何想法？
我将气流降级到 1.10.12。这个版本好像没有这个问题。