【问题标题】:DAG Run Logs are not time sensitiveDAG 运行日志对时间不敏感
【发布时间】:2021-01-08 06:58:46
【问题描述】:

大家好,感谢您阅读我的问题。

在部署和更改 DAG 数周后,我注意到日志仅反映最新设计的结构。

例如,我有一个带有 3 个顺序运算符的 DAG。该 DAG 已经运行了 10 次,有成功也有失败。在第 11 次运行之前,我再次使用 2 个顺序运算符(删除 1 个运算符)重新部署了 DAG。

现在,DAG 显示基于最新设计(2 个运算符)的所有日志(11 次运行),并且在我查看旧日志时不会更改为 3 个运算符视图。

有没有办法“解决”这个问题?

感谢和问候, 罗摩

【问题讨论】:

    标签: airflow


    【解决方案1】:

    我认为您在谈论 UI 中 DAG 的结构。
    当您更改结构(添加或删除新任务)时,它将通过以前的运行应用 UI 中的结构更改。
    如果您想保留结构的历史记录,最好的方法是创建一个新的 dag 或重命名 dag:

    with DAG(
        dag_id='dag_name_1.0', -- change to dag_name_1.1
        schedule_interval="0 2 * * *",
        dagrun_timeout=timedelta(minutes=60),
        default_args=default_args,
        max_active_runs=1,
        catchup=False,
        doc_md=__doc__
        ) as dag:
    

    您可以访问旧日志,但不能通过 ui。检查您的气流配置文件中的 base_log_folder,您将能够在该地址中找到日志文件。

    【讨论】:

    • 谢谢彼得 - 我也很怀疑!
    猜你喜欢
    • 1970-01-01
    • 2018-07-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-09
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多