【问题标题】:Azure data factory pipeline - copy blob and store filename in a DocumentDB or in Azure SQLAzure 数据工厂管道 - 复制 blob 并将文件名存储在 DocumentDB 或 Azure SQL 中
【发布时间】:2018-10-18 00:12:27
【问题描述】:

我设置了 2 个名为“输入”和“输出”的 Blob 存储文件夹。当新文件到达“输入”并将该文件复制到“输出”文件夹时,我的管道被触发。此外,我确实有一个 Get Metadata 活动,我在其中收到复制的文件名。

现在我想将复制数据的文件名存储到 DocumentDB 中。 我尝试使用 ForEach 活动,但在这里我卡住了。

基本上我尝试使用这个答案中的部分:Add file name as column in data factory pipeline destination

但我不知道在 CopyData 活动中分配什么作为 Source,因为我的源是 ForEach 活动中的文件名 - 还是我错了?

【问题讨论】:

    标签: azure-data-factory


    【解决方案1】:

    根据你的需求,我建议你使用Blob Trigger Azure Functions结合你目前的Azure数据工厂业务。

    第1步:仍然使用adf中的事件触发器在输入和输出之间传递。

    第 2 步:将 Blob Trigger Azure Functions 分配给输出文件夹。

    第3步:一旦有新文件被创建,该函数就会被触发。然后获取文件名并使用Document DB SDK将其存储到document db中。

    .net 文档数据库 SDK:https://docs.microsoft.com/en-us/azure/cosmos-db/sql-api-sdk-dotnet

    Blob 触发器绑定,请参考这里:https://docs.microsoft.com/en-us/azure/azure-functions/functions-bindings-storage-blob

    【讨论】:

      【解决方案2】:

      您可以尝试使用自定义活动将文件名插入 Document Db。

      您可以将文件名作为参数传递给自定义活动,并编写自己的代码将数据插入到 Document Db 中。

      https://docs.microsoft.com/en-us/azure/data-factory/transform-data-using-dotnet-custom-activity

      【讨论】:

        猜你喜欢
        • 2016-08-30
        • 2021-08-26
        • 1970-01-01
        • 2021-10-21
        • 2019-04-20
        • 1970-01-01
        • 1970-01-01
        • 2016-06-16
        • 2018-09-20
        相关资源
        最近更新 更多