【问题标题】:Compose a pipeline with other pipelines与其他管道组成管道
【发布时间】:2021-03-27 08:22:58
【问题描述】:

我目前正在尝试在众多工作流框架之间进行选择。我需要一个重要的功能,即工作流组合。

即使在 API reference 或 advanced tutorial 中,我也没有在文档中找到任何内容。

所以我的问题是:是否可以组成管道?即用已经写好的 DAG 构建一些 DAG。可能有一些解决方法,但我对它的原生集成很感兴趣。

谢谢

【问题讨论】:

    标签: dagster


    【解决方案1】:

    我认为您可能正在寻找复合实体抽象,它可以让您组合子 DAG。 https://docs.dagster.io/tutorial/advanced_solids#composite-solidshttps://docs.dagster.io/_apidocs/solids#composing-solids

    【讨论】:

    • 如果我理解得很好,你可以像管道一样将实体放在复合实体中,并用它构建复杂的管道。但你不能只是将旧管道重用为新管道。
    • 从 Dagster 0.12.0 开始,这将发生重大变化,我们将公开 API,这将使管道更易于组合。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-07-31
    • 2018-04-14
    • 2023-03-29
    • 2020-01-26
    • 2012-12-21
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多