【发布时间】：2022-06-14 00:44:29
【问题描述】：
我有以下气流设置
- 执行器：KubernetesExecutor
- 气流版本：2.1.3
- 气流配置：并行度 = 256
我有以下情况
我有许多 dag（例如 10 个），它们取决于另一个 dag 的另一个任务的成功状态。任务一直失败，重试了 6 次。
所有依赖的 dag 每小时运行一次，因此它们被调度程序添加到 queue 状态。我可以看到大约 800 个 dag 在 queue 中并且没有任何运行。所以我最终手动将它们的状态更改为失败。
以下是我对此次活动提出的问题。
- 气流设置中可以同时运行的 dag 数量是否有限制？
- 可以入队的 dag 数量是否有限制？
- 当 dag 排队时，调度程序如何决定选择哪一个？是根据排队时间吗？
- 是否可以在排队的 dag 中设置优先级？
- airflow 2.1.3 如何处理队列中的任务？它们是否计入 max_active_runs 参数？
【问题讨论】：