使用 Azure 数据工厂将本地文件系统文件复制到 blob 时如何跳过现有文件

Question

我已经建立了一个管道，可以将大量文件从本地存储转移到 blob 存储。有没有办法让计划的管道忽略以前上传的文件？理想情况下，它将根据上次修改时间文件属性工作。

我正在考虑的一个选项是将此管道设置为 OneTime 并仅在我需要同步文件时才启动它，但这里有两个问题：

• 我希望此管道不涉及手动活动，例如执行作业或将文件移动到时间切片文件夹中
• 它仍会提升大量 GB 数据

这样做的正确模式是什么？

Answer 1

使用 ADF V2，您可以使用 get Metadata activity 获取 lastModifed 属性来实现此目的。然后，您可以链接一个 if 活动来检查 lastModfied 时间。