如何从 Azure Blob 存储中读取文件夹结构为“StartDateOfMonth-EndDatefMonth”的文件？

Question

场景

我们有具有以下文件夹结构的 azure blob 存储容器。 • 20190601-20190630

基本上，此文件夹将包含给定月份的每日 CSV 文件。

此文件夹结构是动态的。因此，在下个月，文件夹 20190701-20190731 将被每日 CSV 文件填充。

问题

每天，需要使用 azure 数据工厂 (v2) 将这些文件从 azure blob 存储移动到 azure 数据湖。

如何在 Azure 数据工厂（V2）的输入数据集（Azure Blob 存储）中指定文件夹结构（动态）？

示例： 20190601-20190630/*.CSV 代表 2019 年 6 月

基本上，StartDateOfMonth 和 EndDateOfMonth 是动态的。

提前致谢

Answer 1

您可以像这样配置数据集文件夹路径：

   "folderPath": {
                        "value": "@concat( 
                               formatDateTime(pipeline().parameters.scheduledRunTimeStart, 'yyyyMMdd'), 
                               '-',
                               formatDateTime(pipeline().parameters.scheduledRunTimeEnd, 'yyyyMMdd')
                               , '/'
                        "type": "Expression"
    }

并将参数传入数据集：

"parameters": {
    "scheduledRunTimeStart": {
        "type": "String"
    },
    "scheduledRunTimeEnd": {
        "type": "String"
    }
}