缓存 Dagster 的管道结果

Question

有没有办法在管道中缓存实体的输出，如果我运行相同的管道但配置略有不同（想想超参数调整），管道中的某些初始步骤是不受配置更改影响不会多次执行？

Raw data -> CPU expensive preprocessing (A) -> model fitting (B) -> model

我希望能够运行 A 一次，但 B 的多个变体。

在 Dagster 中是否有一种优雅的方式来做到这一点？

Answer 1

我不知道有这个功能。

当存储设置为文件系统时，Dagster 可以重新运行实体，但在缓存方面没有看到任何像您所描述的那样。如果这里没有太大的吸引力，可以提交issue to Dagster，然后反馈

一些可能的解决方法

1. 也许您可以选择具体化数据并将逻辑添加到您的实体中，以检查该数据是否存在于某个位置。如果是，则返回该数据，如果不是，则重新处理。这种模式给您带来了确保只保留所需文件的负担。考虑到开放式场景中潜在的可变区域，这可能是最简单的选择。
2. 我想您可以在每次实验后拼凑新的管道 - 仅由需要再次运行的实体组成，并引入从文件中读取数据并为其他实体输出的新实体。我想，读入数据的 Solid 可能只是一个可重用和别名的 Solid。