dag 中的气流“并发”参数不一致答案

【问题标题】：Airflow "concurrency" parameter in the dag not consistentdag 中的气流“并发”参数不一致
【发布时间】：2018-10-01 12:50:36
【问题描述】：

我正在创建一个具有可配置执行器数量的动态 dag。

dag 中给出的“concurrency”参数不一致，因为这并不总是产生那么多并行任务。

将气流.cfg 设置为：

parallelism = 32

dag_concurrency = 16

为什么这没有按预期工作，或者我需要更改任何其他设置？

【问题讨论】：

【解决方案1】：

您可以在实例化 dag 时设置并发：

dag = DAG(dag_id, default_args=default_args, schedule_interval=None, max_active_runs=1, concurrency=1)

【讨论】：

【解决方案2】：

在Airflow中要在一个dag中执行多个并发任务，你必须在实例化dag的同时设置并发，并且应该不止一个：

dag = DAG(dag_id=DAG_ID, default_args=default_args, max_active_runs=1,
concurrency=4, schedule_interval='@daily'
)

而且要在 Dag 中运行多个任务，您必须将执行器设置为 LocalExecutor/CeleryExecutor。

【讨论】：