【问题标题】:[Airflow]Prevent new tasks from being accidentally run during partial dag reruns[气流]防止新任务在部分 dag 重新运行期间意外运行
【发布时间】:2021-05-12 22:39:35
【问题描述】:

在airflow中,如果你在一个dag中添加一个新任务,然后在旧的dag运行中清除它的下游任务,airflow会首先运行你刚刚添加的新任务。

例如:

在 T 上运行了一个 DAG: A >> B

在T+1我们在中间添加了一个新任务C: A >> C >> B

现在,如果我们什么都不做,有人在 T 上清除了任务 B,那么它将首先触发 C,这不是我们想要的。

目前我们有一个手动脚本可以在所有历史 dag 运行中将新任务标记为“成功”,因为我们不希望在清除下游任务时自动触发新任务。我想知道是否有一个较少手动的解决方案来解决这个问题?每次添加新任务时,在历史 dag 运行中手动标记成功非常烦人。

【问题讨论】:

    标签: airflow


    【解决方案1】:

    由于C 处于工作流程的中间,我不确定是否有简单的方法来处理这个问题。我可能会用新的start_date 创建一个新的 DAG。在旧的 DAG 中,我会添加一个 end_date,因此您可以在需要时安全地回填两者。

    可能还有另一种解决方案,但我不确定这是否会奏效。 您也可以尝试为任务C 添加start_date。 可能您在default_args 中定义了一个star_date,您可以将它用于所有任务。你需要做的是覆盖这个任务C。

    default_args = {
        'owner': 'airflow',
        'start_date': datetime(2020, 4, 1),
    
    }
    with DAG(dag_id='stackoverflow',
             default_args=default_args,
             schedule_interval="@daily",
             ) as dag:
        A = DummyOperator(task_id='A')
        B = DummyOperator(task_id='B')
        C = DummyOperator(task_id='C', start_date=datetime(2021, 5, 12))
        
        A >> C >> B
    

    这可能很棘手,因为您在这里只定义了新的依赖项。如果工作流程是:A >> B >> C,则此解决方案肯定会起作用,但我从未在此用例中对其进行过测试。无论如何,我的建议是使用创建新 DAG 的第一个解决方案。

    【讨论】:

    • 感谢@Elad 的建议。我对第一种解决方案的担忧是我们最终会得到数百个 dags。 Airflow 是否有办法管理“基本上相同的 dag 但结束日期不同”?
    • 另外,这里的目标不是阻止任务 C 在旧日期运行。但更像是防止它意外被运行。很多时候,我们确实希望在较早的日期运行这些新任务,但这将是一个深思熟虑的决定。
    • Airflow 不知道这两个 dag 在业务方面是相关的。数百个 dags 并不是真正的问题,我也不确定在工作生产环境中您是否正在数百次更改和添加任务到您的 dags。您将最终到达一个稳定点。
    猜你喜欢
    • 2016-12-09
    • 2019-11-18
    • 2019-01-08
    • 1970-01-01
    • 1970-01-01
    • 2023-03-30
    • 1970-01-01
    • 2022-11-02
    • 1970-01-01
    相关资源
    最近更新 更多