【问题标题】:ADF IF Condition - Count source columnsADF IF 条件 - 计算源列
【发布时间】:2021-10-18 08:57:07
【问题描述】:

ADF 复制活动 - 我有两种类型的平面文件存储在同一目录中,我正在使用通配符 *.txt 读取它

来源 类型 1 有 18 列, 类型 2 有 24 列。 前 18 列相同,类型 2 仅增加了 6 列。

汇 具有 24 列的 azure sql 表

是否可以使用 IF 条件来计算列数,并将每个源文件传递给正确的复制活动 - 然后我会有 2 个复制活动(每种类型的文件 1 个)。

【问题讨论】:

  • 我相信您可以使用相同的复制活动,并且会为较小文件中缺少的字段获得 NULL。你有什么理由喜欢它们分开吗?

标签: azure-data-factory azure-data-factory-2 dataflow azure-data-factory-pipeline


【解决方案1】:

您可以使用 GetMetaData 活动来获取文件的结构甚至列数。 然后通过 If 活动,将它们拆分为 2 个不同的复制活动,或者使用基于 if 条件的动态映射,仅利用 1 个复制活动

https://sqlitybi.com/dynamically-set-copy-activity-mappings-in-azure-data-factory-v2/

【讨论】:

    猜你喜欢
    • 2022-11-08
    • 1970-01-01
    • 2020-03-26
    • 2013-07-23
    • 1970-01-01
    • 2022-11-10
    • 2021-09-11
    • 2017-03-01
    • 2017-12-15
    相关资源
    最近更新 更多