Azure 数据工厂数据流 - 删除空列

Question

在 azure 数据工厂中使用数据流移动数据时，我注意到数据（在接收器）缺少包含 NULL 值的列。使用复制活动复制相同数据时，接收器中的列显示为 NULL。

复制活动后的记录：

数据流后的记录：

Source 是 parquet，sink 是 azure cosmos db。我的目标是避免定义任何模式，因为我只想“按原样”复制所有数据。我在源和接收器上使用了“允许架构漂移”选项。

我只会使用复制活动，但它似乎无法像数据流那样定义最大速度（RU 消耗），因此复制活动最终会非常消耗 cosmos db 的所有 RU快速（如here 所述）

---

编辑：

接收器数据预览显示所有列

sink 检查选项卡显示所有列

Answer 1

数据流总是跳过写入带有 NULL 的 JSON 标记。目前除了复制活动之外没有其他解决方法。