如何使用数据工厂遍历文件夹并合并其中的所有文件？

【问题标题】：How can I iterate over folders and Merge all files in them using data Factory?如何使用数据工厂遍历文件夹并合并其中的所有文件？
【发布时间】：2021-02-25 09:47:06
【问题描述】：

我有按年、月、日方式存储在 Datalake 中的文件夹，如下所示。我想使用 ADF 合并特定月份的所有文件。

月
- 01
  - 文件1
  - 文件2
- 02
  - 文件3
  - 文件4

是否有可能在 ADF 中实现这一点？

编辑 1 - 我需要将 Month 中的所有文件合并为一个输出文件。在上述情况下，文件 1、文件 2、文件 3 和文件 4 将合并为一个文件

【问题讨论】：

标签： azure azure-data-factory azure-data-lake-gen2

【解决方案1】：

是的，您可以通过复制活动来实现。

创建源并使用通配符路径指定要复制的文件。

2.在 Sink 中选择 Merge files 选项。

3.你可以在这里定义你的输出文件名。

更新：

【讨论】：

您好史蒂夫，感谢您的回答。但是您似乎误解了这个问题，在这里您正在合并一个月中 1 天的文件，这非常简单。但我想检索一个月中所有日子的文件并合并。因此在上述情况下，所有 File1、File2、File3、File4 将合并为一个输出文件。
@noobCoder50 只需将通配符文件夹路径更改为Month 即可。