【发布时间】:2017-09-27 16:24:39
【问题描述】:
我正在使用 Luigi 测试管道,我注意到任务可视化器中有奇怪的缓存行为。一方面,任务似乎会在缓存中停留一段时间,有时会与管道第二次运行的任务重叠,从而导致 UI 混乱。我还注意到,当两个管道连续运行时,新管道中的任务需要一段时间才能出现。有没有办法在每次运行之前手动重置缓存?是否有一个配置变量可以设置任务在过期前缓存多长时间?
【问题讨论】:
我正在使用 Luigi 测试管道,我注意到任务可视化器中有奇怪的缓存行为。一方面,任务似乎会在缓存中停留一段时间,有时会与管道第二次运行的任务重叠,从而导致 UI 混乱。我还注意到,当两个管道连续运行时,新管道中的任务需要一段时间才能出现。有没有办法在每次运行之前手动重置缓存?是否有一个配置变量可以设置任务在过期前缓存多长时间?
【问题讨论】:
您可以使用调度程序的 remove_delay 设置。在您的配置文件中:
[scheduler]
remove_delay = 10
这适用于调度程序,因此您需要重新启动 luigid 才能启用它。
来自文档:
移除一个没有 利益相关者。默认为 600(10 分钟)。
根据经验,这种情况下的利益相关者似乎是指工人和上游/下游依赖项。
【讨论】:
--remove-delay 作为变量传递给任务吗?