【问题标题】:load different files from a container in azure blob storage to different tables using azure data factory copy activity使用 azure 数据工厂复制活动将不同的文件从 azure blob 存储中的容器加载到不同的表
【发布时间】:2020-03-01 19:30:59
【问题描述】:

我们需要将多个文件从 blob 容器复制到 azure db,并在成功完成后将它们归档到另一个容器中并删除源容器中的文件。我使用了两个复制活动和一个删除活动(带有递归选项)这并且能够将具有相同结构的文件加载到 azure 数据库,然后将它们归档到 blob 中的另一个容器中。

但是现在,我们需要根据文件名将容器中不同结构的多个文件加载到 Azure 数据库表中,请您帮忙使用 azure 数据工厂将多个文件动态加载到 azure db。

谢谢

【问题讨论】:

    标签: azure-data-factory-2 azure-blob-storage


    【解决方案1】:

    【讨论】:

    • 嗨 Himanshu,感谢分享链接。这很有帮助。我尝试按照链接中的说明进行操作,但在我的情况下,两个文件数据都加载到一个表中。我签入getfilename,tablename 的设置变量活动输出两个文件都显示,但在复制活动中,两个文件数据都加载到一个表中。如果我遗漏任何内容,请告诉我。请在下面找到我的步骤链接跟随。
    • 请从 DelimitedText DS_test 数据集(命名文件名)中删除参数在复制活动 -> 接收器 -> DS_test_azureDB _ 请添加表为“dbo”,不带引号和@dataset().tablename 它将看起来像 dbo.@dataset().tablename ,我很抱歉,我忘了把它放在最初的文档中,我现在刚刚将它更新为步骤 6.1 HTH
    • 嗨 Himanshu,从 DelimitedText DS_test 数据集中删除了文件名参数,并在接收器数据集中添加了 @dataset().table。这次创建了两个表,但两个表的架构与第一个文件和副本相同管道活动失败,因为 table2 的架构与第二个文件元数据不匹配。我认为仍然缺少一些东西,因为这两个表都是使用相同的架构创建的。您能否重新创建场景,因为我们之间缺少一些东西.请找到我这次关注的以下链接。
    猜你喜欢
    • 2021-11-25
    • 2021-01-15
    • 1970-01-01
    • 2019-07-28
    • 2019-04-20
    • 2018-09-05
    • 2016-08-30
    • 2023-01-12
    • 2020-03-18
    相关资源
    最近更新 更多