【发布时间】:2016-11-01 21:50:30
【问题描述】:
我是 Airflow 的新手。但我现在正在研究如何限制 Airflow 中的当前工作。是否有人对 Airflow 中的并发或节流略知一二。任何建议都会有所帮助。 非常感谢。
【问题讨论】:
标签: concurrency throttling optimistic-concurrency airflow database-concurrency
我是 Airflow 的新手。但我现在正在研究如何限制 Airflow 中的当前工作。是否有人对 Airflow 中的并发或节流略知一二。任何建议都会有所帮助。 非常感谢。
【问题讨论】:
标签: concurrency throttling optimistic-concurrency airflow database-concurrency
如果你想在一个 dag 中限制任务,你需要定义它的“并发”参数。
“并发”定义了一个 DAG 允许运行多少个任务实例 拥有,超过这一点,事情就会排队。
如果您想全局限制任务,请查看配置文件的这几行
作为执行器设置的并行量。这定义了 应该同时运行的最大任务实例数 在这个气流装置上
平行度 = 32
和
调度器允许并发运行的任务实例数
dag_concurrency = 16
第一个是全局的,第二个是所有dag的并发默认值
【讨论】: