【问题标题】:Rerun certain successful airflow task based on conditions根据条件重新运行某些成功的气流任务
【发布时间】:2021-08-21 04:11:53
【问题描述】:

我有一个 Dag,例如任务 A、B 和 C。目前 C 依赖于 A 和 B。问题是,我正在尝试找出一种方法 1) 在 A 或 B 成功后运行 C , 这样 C 中的一些列就会被刷新。 2)说A先完成,C执行一次成功。现在B完成了。我现在如何触发 C 再次运行?这是让 c 运行两次的理想行为。 C 可能比 A 和 B 有 2 个以上的依赖项。什么是增量更新 C 并在满足更多条件后重新运行的方法? 作业 A、B 和 C 是 Spark 作业或 Hive sql。非常感谢您的帮助。

【问题讨论】:

    标签: python pyspark hive airflow airflow-scheduler


    【解决方案1】:
    1. 在 A 或 B 成功后运行 C,以便刷新 C 中的某些列。 2)说A先完成,C执行一次成功。现在B完成了。现在如何触发 A 再次运行?

    答案在trigger rules。我会考虑在 C 任务中使用 all_done 规则。这样,它将始终在 A 和 B 之后运行(无论结果如何)。但是,如果所有任务都失败了,这可能需要调整任务 C 才能正常工作。

    我现在如何触发 A 再次运行? C 可能比 A 和 B 有超过 2 个依赖项。有什么方法可以增量更新 C 并在满足更多条件时让它重新运行?

    为此,通过 Airflow Web UI:

    1. 将任务 C 标记为失败
    2. 使用“上游”和“失败”选项清除任务 C:

    这应该重新运行所有失败的任务(A 或 B 或 C 上游的任何其他任务)以及 C(因为我们将其标记为失败)。

    【讨论】:

    • 谢谢!对不起,也许我没有很好地解释它。问题是我有点想要 one_success 以便 C 将在 A 或 B 完成后运行,而当另一个完成时,我确实希望 C 再次运行。如何做到这一点?
    • 所以让 C 运行两次是期望的行为
    • 然后在每个 A 和 B 任务之后创建一个“C”任务,这样你就会有 C_A、C_B 任务等等。您可以循环执行此操作,这就是 Airflow 样式。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2023-03-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2015-07-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多