根据列的存在拆分数据因子管道

Question

我正在创建一个管道以将一系列 csv 提取到 Azure SQL 数据库中

CSV 来自一个名为 SystmOne 的医疗软件，CSV 要么是 full 数据集，要么是 delta 数据集。它们架构的唯一区别是存在一个额外的列：RemovedData。

此列的存在将需要管道中的一个额外步骤（从数据库中删除带有RemovedData == true 的任何行）。

在 ADF 或（带有数据流预览的 ADF）中是否有办法查询文件中是否存在列并根据结果拆分管道？

我无法控制文件的初始输出。

Answer 1

您可以使用getMetadataActivty columnCount 属性检查源数据集中的列数，然后使用 If Activity 执行您想要的操作。

IF 活动中的表达式：@equals(activity('YourGet Metadata').output.columnCount,numberOfColumns)

然后根据 true 或 false，您选择具有适当架构的数据集。