Azure 数据工厂 - Azure 数据湖的增量加载

Question

我希望源系统具有增量加载模式，其中没有说明上次修改记录的时间的审计字段。示例：持续修改于（日期时间）

但是这些表是用主键和唯一键定义的，当属性发生任何变化时，应用程序使用它们来更新记录。

现在的问题是我如何确定每天的 Delta 并使用 Azure Data Factory / Databricks 将它们加载到 Azure Data Lake。

我应该暂存当天和当天 -1 的完整数据集并使用哈希值确定增量吗？

或者有更好的方法吗？

Answer 1

由于该数据库的规模不大，最终创建了管道，它将完整数据集加载到 sql 暂存中，然后将数据湖写回到初始加载数据集的相关位置，然后将 sql 暂存提升到 PreviousDay 模式。

对于下一个增量，它将完整数据集读取到 sql staging 中，然后与 PreviousDays 数据集进行比较，获取更改的记录并将数据湖写入相关的增量位置。然后删除现有的 PreviousDay 数据集并将 Staging 数据集提升到 previousDay 以便为下一个增量做好准备。