【问题标题】:Do not rerun previous tasks in Prefect不要在 Prefect 中重新运行以前的任务
【发布时间】:2021-12-04 06:33:03
【问题描述】:

如何告诉 Prefect,不要重新运行 DAG 中的所有先前任务?

【问题讨论】:

    标签: python automation directed-acyclic-graphs prefect


    【解决方案1】:

    Targets 会带你去你想去的地方。来自文档:

    Prefect 中的目标是可模板化的位置字符串,用于检查任务结果是否存在。这在您可能希望任务仅将数据写入某个位置一次或仅在存在某些数据时不重新运行的情况下很有用。如果该位置存在结果,则任务运行将进入缓存状态。

    在你的任务装饰器中添加一个像这样的目标:

    @task(result=LocalResult(), target="{task_name}-{today}")
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-07-16
      • 1970-01-01
      • 2014-09-28
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多