【问题标题】:Clearing the Luigi Task Visualizer Cache清除 Luigi Task Visualizer 缓存
【发布时间】:2017-09-27 16:24:39
【问题描述】:

我正在使用 Luigi 测试管道,我注意到任务可视化器中有奇怪的缓存行为。一方面,任务似乎会在缓存中停留一段时间,有时会与管道第二次运行的任务重叠,从而导致 UI 混乱。我还注意到,当两个管道连续运行时,新管道中的任务需要一段时间才能出现。有没有办法在每次运行之前手动重置缓存?是否有一个配置变量可以设置任务在过期前缓存多长时间?

【问题讨论】:

    标签: python luigi


    【解决方案1】:

    您可以使用调度程序的 remove_delay 设置。在您的配置文件中:

    [scheduler]
    remove_delay = 10
    

    这适用于调度程序,因此您需要重新启动 luigid 才能启用它。

    来自文档:

    移除一个没有 利益相关者。默认为 600(10 分钟)。

    根据经验,这种情况下的利益相关者似乎是指工人和上游/下游依赖项。

    【讨论】:

    • 可以将--remove-delay 作为变量传递给任务吗?
    • 很遗憾不是因为它是一个全局参数。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2011-07-25
    • 2017-04-06
    • 1970-01-01
    • 2016-04-09
    • 2015-03-10
    • 2011-02-20
    • 2011-12-15
    相关资源
    最近更新 更多