Google Composer：找不到 dag_id答案

【问题标题】：Google Composer : dag_id could not be foundGoogle Composer：找不到 dag_id
【发布时间】：2018-07-30 14:10:33
【问题描述】：

我动态地创建了一个 dag 集合（对所有人使用相同的 .py）。还有一个build-DAG 我无法运行：

airflow.exceptions.AirflowException: dag_id could not be found: `build-DAG`. Either the dag did not exist or it failed to parse.
at get_dag (/usr/local/lib/python2.7/site-    packages/airflow/bin/cli.py:130)
at run (/usr/local/lib/python2.7/site-packages/airflow/bin/cli.py:353)
at <module> (/usr/local/bin/airflow:27)

对于这个 dag，我可以看到以前的日志、代码和 UI 中的所有内容，但我无法运行它。知道如何调试吗？重启作曲家实例可能有用吗？

动态创建的其余 dag 工作正常。

我正在使用与此类似的东西来创建 dag： https://gist.github.com/tmarthal/edeae7f6f8780dc53887a16b7b20f205

感谢您的建议。教育

更新：我正在使用 composer-0.5.1-airflow-1.9.0

2018 年 8 月 2 日更新：我迁移到 composer-1.0.0-airflow-1.9.0 并且仍然发生

【问题讨论】：

那代 DAG 有什么不同吗？您应该确保它位于模块的全局变量中。尝试在 python shell 中导入模块并确保您可以访问该 DAG。

标签： google-cloud-composer

【解决方案1】：

这不是气流问题，而是并发问题。

我有两个后端返回动态 dag 列表，每个后端都有不同的 DAG id 列表。当 DAG 定义使用 Backend A 时，创建 20 个 DAG，而使用 Backend B 时仅创建 18 个 DAG。然后，当我尝试运行 DAG 19th 时，气流间歇性地失败。我的解决方案已在两个后端同步。

问候爱德华多

【讨论】：