【问题标题】:Airflow 2 - debugging why dag is not loadingAirflow 2 - 调试为什么 dag 没有加载
【发布时间】:2021-07-11 08:36:30
【问题描述】:

在 Airflow 2 上,我的 dag 没有显示在 UI 上,并且我收到了 DAG Import Errors (...)。 错误消息不足以让我调试(它是一个自定义运算符,有很多自定义逻辑 - 所以我不想深入了解错误本身的细节)。 在 Airflow 1.X 上,我可以使用 cli:

airflow list_dags

为了获得更详细的调试信息,气流 2 上有什么类似的东西吗? 我正在寻找一个 cli 命令/UI 选项,它可以为我提供比我在网络服务器主屏幕上看到的更详细的错误消息。

【问题讨论】:

    标签: airflow airflow-2.x


    【解决方案1】:

    upgrading manual 中所述 airflow list_dags 已更改为 airflow dags list

    完整的语法是:

    airflow dags list [-h] [-o table, json, yaml] [-S SUBDIR]
    

    更多信息请见docs

    【讨论】:

    • 我看到它是这样写的,但是在日志方面绝对不是这种情况 - 自己尝试一下 - 气流 2 版本实际上只提供了一个列表,而气流 1 提供了相当广泛的日志。跨度>
    • 请打开一个 github 问题github.com/apache/airflow/issues 并附上示例,我们将对其进行调查
    【解决方案2】:

    Airlfow's documentation 中所述,要测试 DAG 加载,您只需运行:

    python your-dag-file.py
    

    如果在 DAG 加载阶段出现任何问题,您将在此处获得堆栈跟踪。

    later sections 还描述了如何测试自定义运算符。

    【讨论】:

    • 谢谢,这是通用的。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2018-12-09
    • 1970-01-01
    • 1970-01-01
    • 2010-09-14
    • 1970-01-01
    • 2018-07-01
    • 1970-01-01
    相关资源
    最近更新 更多