【问题标题】:How to throttle current jobs in airflow?如何限制气流中的当前工作?
【发布时间】:2016-11-01 21:50:30
【问题描述】:

我是 Airflow 的新手。但我现在正在研究如何限制 Airflow 中的当前工作。是否有人对 Airflow 中的并发或节流略知一二。任何建议都会有所帮助。 非常感谢。

【问题讨论】:

    标签: concurrency throttling optimistic-concurrency airflow database-concurrency


    【解决方案1】:

    如果你想在一个 dag 中限制任务,你需要定义它的“并发”参数。

    “并发”定义了一个 DAG 允许运行多少个任务实例 拥有,超过这一点,事情就会排队。

    如果您想全局限制任务,请查看配置文件的这几行

    作为执行器设置的并行量。这定义了 应该同时运行的最大任务实例数 在这个气流装置上

    平行度 = 32

    调度器允许并发运行的任务实例数

    dag_concurrency = 16

    第一个是全局的,第二个是所有dag的并发默认值

    【讨论】:

      猜你喜欢
      • 2014-09-09
      • 2012-04-03
      • 2013-02-05
      • 2020-01-05
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-08-09
      • 1970-01-01
      相关资源
      最近更新 更多