【发布时间】:2021-05-12 22:39:35
【问题描述】:
在airflow中,如果你在一个dag中添加一个新任务,然后在旧的dag运行中清除它的下游任务,airflow会首先运行你刚刚添加的新任务。
例如:
在 T 上运行了一个 DAG: A >> B
在T+1我们在中间添加了一个新任务C: A >> C >> B
现在,如果我们什么都不做,有人在 T 上清除了任务 B,那么它将首先触发 C,这不是我们想要的。
目前我们有一个手动脚本可以在所有历史 dag 运行中将新任务标记为“成功”,因为我们不希望在清除下游任务时自动触发新任务。我想知道是否有一个较少手动的解决方案来解决这个问题?每次添加新任务时,在历史 dag 运行中手动标记成功非常烦人。
【问题讨论】:
标签: airflow