【发布时间】：2019-04-04 02:20:39
【问题描述】：
我正在探索将 S3 blob 增量复制到 azure blob 的方法。我尝试了 azure 数据工厂，但找不到此选项。
S3 拥有数百万个对象，如果没有增量选项，则需要数小时才能完成。
我愿意探索其他工具/选项。
【问题讨论】：
标签： azure amazon-s3 azure-data-factory migrate
【发布时间】：2019-04-04 02:20:39
【问题描述】：
如果您需要每天/每小时增量复制，scheduled/tumbling window 触发器应该是选项。 Here 是一个可供参考的示例。 ADFv2 还支持复制压缩，您可以为 s3 对象指定压缩类型和级别，点击here了解更多信息。
【讨论】：
-
我还是数据工厂的新手。如果文件在 S3 存储桶中结构良好，那么在我看来，这个例子很好。在我们的场景中，我们不知道哪个文件夹或哪个文件会有更新。我想要实现的是在初始加载之后，如果我们按计划运行数据工厂，我们只希望将更改的文件从 AWS 移动到 Azure。
-
您找到解决方案了吗？