同时运行具有不同参数的 luigi 管道

Question

也许这是一个有点愚蠢的问题。我使用 luigi 和 python 编写了一个数据管道，它获取一些文件，清理它，并运行一个 Monte Carlo Markov Chain 模型。我需要多次运行这个模型（25 次不同参数的模拟）。在我的笔记本电脑上运行一次模拟大约需要 3-5 个小时。有没有办法同时运行多个模拟（我假设这受硬件限制）或安排模拟在第一个完成后运行，问题是输出文件将具有相同的名称，我假设这意味着在第一个模拟之后运行的每个模拟都将被标记为完成，直到我删除这些输出文件

Answer 1

当然可以。你只需要有一个根调度任务，如下所述：https://luigi.readthedocs.io/en/stable/luigi_patterns.html#triggering-many-tasks

基本上，您只需创建一个具有 25 组不同参数的根任务，并且需要您的工作流使用这些参数。

编辑：如果您需要先运行一项任务，只需在 run 方法中使用 yield Task(params)（不是 requires 方法！）。