Apache Airflow - DAG 中有多少任务太多了？答案

【问题标题】：Apache Airflow - how many tasks in a DAG is too many?Apache Airflow - DAG 中有多少任务太多了？
【发布时间】：2019-09-16 10:39:51
【问题描述】：

我尝试拥有一个包含 400 个任务的 DAG（比如每个运行调用远程 spark 服务器以将单独的数据文件处理到 s3 中......与 mysql 无关）和气流（v1.10.3）为下一个执行以下操作15 分钟：

cpu 保持在 99%
未处理新的腻子登录或 ssh 请求我的机器（amazon linux）
气流网络服务器停止响应..仅报了504错误
启动了 130 个与 mysql RDS 的并发连接（气流元数据库）
让我的任务停留在计划状态

我最终切换到另一个 ec2 实例但得到了相同的结果...

我在单机（16 个 CPU）上运行 LocalExecutor。

注意一个有 30 个任务的 DAG 运行良好。

【问题讨论】：

标签： airflow-scheduler orchestration airflow

【解决方案1】：

DAG 中的任务数量没有实际限制。在您的情况下，您使用的是LocalExecutor - 然后气流将使用主机上可用的任何资源来执行任务。听起来您刚刚使您的 ec2 实例的资源不堪重负，并使气流工作人员/调度程序超载。我建议添加更多工作人员来分解任务或降低您的airflow.cfg 中的parallelism 值

【讨论】：