【发布时间】:2021-08-21 04:11:53
【问题描述】:
我有一个 Dag,例如任务 A、B 和 C。目前 C 依赖于 A 和 B。问题是,我正在尝试找出一种方法 1) 在 A 或 B 成功后运行 C , 这样 C 中的一些列就会被刷新。 2)说A先完成,C执行一次成功。现在B完成了。我现在如何触发 C 再次运行?这是让 c 运行两次的理想行为。 C 可能比 A 和 B 有 2 个以上的依赖项。什么是增量更新 C 并在满足更多条件后重新运行的方法? 作业 A、B 和 C 是 Spark 作业或 Hive sql。非常感谢您的帮助。
【问题讨论】:
标签: python pyspark hive airflow airflow-scheduler