使用 Azure 数据工厂 V2 按 LastModifiedDate 复制新的和更改的文件

【问题标题】：Copy new and changed files by LastModifiedDate with Azure Data Factory V2使用 Azure 数据工厂 V2 按 LastModifiedDate 复制新的和更改的文件
【发布时间】：2019-12-13 22:09:15
【问题描述】：

使用复制活动，我只需要获取文件夹中的最新文件。

示例：文件夹

文件1

文件2 其中 File2 是最新的。

但是，它同时占用了两个文件。

我关注了： https://docs.microsoft.com/en-us/azure/data-factory/solution-template-copy-new-files-lastmodifieddate

也在源数据集中尝试过>连接>按上次修改过滤

开始日期：@adddays(utcnow(),-31)

结束日期：utcnow()

我希望只在指定的日期范围内获取最后修改的文件。

【问题讨论】：

标签： azure azure-data-factory azure-data-factory-2

【解决方案1】：

我粗略的想法是使用这样的流程：Get Metadata activity-->Azure Function Activity-->Copy Activity。

Step1：使用Metadata Activity获取指定日期范围内特定文件夹中文件的最后修改日期时间。

Step2：将输出数组传递给azure function activity，使用冒泡排序（或其他比较算法）获取最新修改的文件名并过滤其他文件名。输出该文件名。

Step3：将文件名传递给copy Activity进行传输。

你可以从这个案例中得到一些类似的线索：https://social.msdn.microsoft.com/Forums/en-US/affdcb44-6a8c-4b20-8e2e-6da20ab86c32/default-sorting-of-get-metadata-activity?forum=AzureDataFactory

【讨论】：