遍历数据工厂中的文件

Question

我有一个 Datalake gen 1，其文件夹结构为 /Test/{currentyear}/{Files}

{Files} 示例格式 2020-07-29.csv 2020-07-30.csv 2020-07-31.csv

每天都会有一个新文件添加到文件夹中。

我需要创建 ADF 来加载 SQL 服务器中的文件。 条件

1. 当我的 ADF 第一次运行时，它需要迭代所有文件并加载到 sql server 中
2. 当 ADF 从第二次（每天一次）开始执行时，它只需要获取今天的文件并加载到 SQL 服务器中

谁能告诉我如何在上述条件下设计 ADF

Answer 1

这应该设计成两部分。

当我的 ADF 第一次运行时，它需要迭代所有文件并 加载到sql server

你应该创建一个临时管道来实现这一点。（我想你知道怎么做，所以这部分我就不说了。）

当 ADF 从第二次（每天一次）开始执行时，它需要 只提取今天的文件并加载到 SQL 服务器中

所以这需要你创建另一个持续运行的管道。

两点可以实现：

首先，通过事件触发器来触发这个管道。（当文件上传时，触发这个管道。）。

其次，按特定格式过滤文件：

根据您的要求，表达式应为@{formatDateTime(utcnow(),'yyyy-MM-dd')}。

就我而言，我可以成功地做到这一点。请尝试一下。