【问题标题】:Airflow - How to mark a task as Success programmatically?气流 - 如何以编程方式将任务标记为成功?
【发布时间】:2021-07-12 03:32:30
【问题描述】:

我有一个将数据插入 SQL Server 数据库的 DAG。有些任务需要 24 小时以上才能运行,因为它插入的数据库性能不高。

如果任务运行时间超过 24 小时,我需要将它们自动标记为完成,因为我需要从它们继续,以便开始插入接下来几天的数据(DAG 每天运行,数据源每天都有新数据进来)。如何以编程方式执行此操作,而无需进入 UI 将其标记为“成功”或“失败”?

【问题讨论】:

标签: airflow


【解决方案1】:

您可以采用类似in this StackOverflow post: kill or terminate subprocess when timeout 所示的方法。那么一旦发生超时,你只需要确保你没有引发任何异常。

【讨论】:

  • 我不明白这如何解决 OP 的问题,即如何以编程方式将气流中的任务标记为成功。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2021-09-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多