【发布时间】:2021-12-04 06:33:03
【问题描述】:
如何告诉 Prefect,不要重新运行 DAG 中的所有先前任务?
【问题讨论】:
标签: python automation directed-acyclic-graphs prefect
如何告诉 Prefect,不要重新运行 DAG 中的所有先前任务?
【问题讨论】:
标签: python automation directed-acyclic-graphs prefect
Targets 会带你去你想去的地方。来自文档:
Prefect 中的目标是可模板化的位置字符串,用于检查任务结果是否存在。这在您可能希望任务仅将数据写入某个位置一次或仅在存在某些数据时不重新运行的情况下很有用。如果该位置存在结果,则任务运行将进入缓存状态。
在你的任务装饰器中添加一个像这样的目标:
@task(result=LocalResult(), target="{task_name}-{today}")
【讨论】: