映射数据流迭代（避免 Foreach 循环）答案

【问题标题】：Mapping Dataflows iterate (avoiding Foreach loop)映射数据流迭代（避免 Foreach 循环）
【发布时间】：2021-10-18 02:51:12
【问题描述】：

在Mapping数据流中（尽量避免Foreach）

这种容器/目录/文件这样的结构是否可行

Land/’Folder1/20210815’/a.csv
Land/’Folder1/20210816’/b.csv
Land/’Folder2/20210815’/c.csv

我想加载 Folder1 和子文件并将它们下沉到数据湖中的 Base 容器

Base/’Folder1/20210815’/a.csv
Base/’Folder1/20210816’/b.csv

在数据流中，我将添加一个派生列，即 loaddate（或任何我想要的数据流）。

所有文件都包含相同的 csv 列结构 column1,column2,column3,loaddate

我不想指定日期，基本上是批量加载子文件夹下的任何 csv

谢谢

【问题讨论】：

【解决方案1】：

这是我使用 Copy Activity 而不使用 For Each 的示例：

我在 Blob 存储中有 4 个具有这种结构的文件：

Folder1/20210815/Placeholder.csv
Folder1/20210815/Placeholder5.csv
Folder1/20210816/Placeholder3.csv
Folder2/20210816/Placeholder3.csv

这里是复制数据的详细信息：

这是这些文件，您可以看到子文件夹已被复制。这理论上应该在数据湖中工作，但我不能确定。它绝对适用于 Azure Blob 存储。

以下是 20210815 子文件夹的内容：

【讨论】：