【发布时间】：2019-07-29 19:45:45
【问题描述】：
在气流中，默认配置似乎是跨天（从一天到下一天）并行排列任务。
但是，如果我将这个过程加速到两年，那么气流 dag 将首先在所有日子里通过初步过程，而不是从开始到结束同时花费 4 天。
如何切换气流以根据深度优先范式而不是广度优先范式执行任务？
【问题讨论】：
【发布时间】：2019-07-29 19:45:45
【问题描述】：
我也遇到过类似的情况。我使用以下技巧来实现深度优先行为。
- 将 DAG 的所有任务分配给 single
pool（插槽数量有限，例如 20-30） - 为以上所有任务设置
weight_rule=upstream
解释
- UPSTREAM weight_rule 根据任务在工作流范围内的位置来反转任务的优先级，从而使所有下游任务的优先级高于上游任务。
- 这将确保在选择下一个分支之前启动的任何 分支 都将完成，从而实现深度优先行为
【讨论】：
尝试使用 airflow.cfg 中的 parallelism 和 max_active_runs 参数以及 DAG 中的 concurrency 参数进行切换。
【讨论】：