【问题标题】:How to import your example files into my Azure Data Factory如何将示例文件导入我的 Azure 数据工厂
【发布时间】:2019-10-18 05:45:11
【问题描述】:

我相信你们中的许多人都有 ADF 经验,并且可能看过 Mark Kromer 的 azure 数据流示例 (https://github.com/kromerm/adfdataflowdocs)

我是一个使用 ADF 和 Azure Data Flows 的初学者。我对这些例子很好奇,我真的很想把你所有的例子文件(json)导入我新创建的数据工厂。它必须比手动创建所有活动、连接、数据集和其他更简单。模板当然很好,但我想在我的 azure 门户和数据工厂中测试您的示例代码。

还有第二个问题:我是一名 SSIS 人员,使用控制流和执行其他包的主包。当我现在在 ADF 中构建具有许多维度表和事实表的数据仓库时,最佳做法是拥有单独的数据流,还是应该构建具有许多并行 upsert 到不同维度的通用数据流?我想我需要一些指导

谢谢

问候盖尔

【问题讨论】:

    标签: azure azure-sql-database azure-storage azure-data-factory azure-data-factory-2


    【解决方案1】:

    我已将这些示例数据流发布为 ADF 管道模板。

    在您的浏览器中,转到 ADF,然后单击工厂资源 > 来自模板的管道。您应该看到一个数据流类别。很多例子都在里面。

    在 ADF 中,您还可以拥有主/子包。您将在 ADF 中使用 Execute Pipeline 而不是执行包。

    ADF 支持数据流模式的重用和泛化,以便您可以在单个数据流中处理多个维度表。您必须权衡这样做的价值与长期支持它的价值以及创建非常复杂的数据流的危险。

    【讨论】:

    • 谢谢马克。您所做的工作令人惊叹,感谢您的快速响应
    猜你喜欢
    • 2017-11-02
    • 2022-08-22
    • 2021-09-28
    • 1970-01-01
    • 2017-03-06
    • 2021-12-24
    • 2020-06-23
    • 2021-10-21
    • 2020-09-29
    相关资源
    最近更新 更多