删除 azure 数据工厂数据流转换中的空行答案

【问题标题】：Delete null rows in azure data factory data flow transformation删除 azure 数据工厂数据流转换中的空行
【发布时间】：2022-02-21 16:22:28
【问题描述】：

我在 Azure 数据工厂中创建了数据流转换

来源：上传到 Azure Blob 中的 Excel 文件目标：在 Azure Blob 中创建的 JSON 文件

我不想将空行从源插入到目标
如果特定行没有特定值，那么我想插入前一行的值。

我尝试使用下面的表达式过滤转换以过滤掉所有列都有空值的行，但它无法删除空行

!(isNull(Column_1)) && !(isNull(Column_2)) && !(isNull(Column_3)) && !(isNull(Column_4)) && !(isNull(Column_5)) && !(isNull(Column_6))

【问题讨论】：

标签： azure-data-factory azure-data-flow

【解决方案1】：

使用过滤器中的 columns() 函数从每行的所有列中获取值。将其放在 array() 中，然后使用 contains() 搜索数组中是否存在值（即不为空）。请注意，您必须将数组元素合并为字符串：

包含(数组(toString(columns())),!isNull(#item))

把它放在你的过滤器表达式中，应该可以工作。

【讨论】：

这行得通。我认为当我们将数据导出到 JSON 时，它无论如何都不会导出 NULL 值，但我也在导出到 azure sql，而且我也没有看到任何空行

【解决方案2】：

我使用了过滤器转换并在下面提供了过滤条件

!(isNull(Prop_0))||!(isNull(Prop_1))||!(isNull(Prop_2))||!(isNull(Prop_3))||!(isNull(Prop_4))||!( isNull(Prop_5))||!(isNull(Prop_6))||!(isNull(Prop_7))||!(isNull(Prop_8))||!(isNull(Prop_9))||!(isNull(Prop_10))

【讨论】：