azure ADF - 从查找活动中获取 .csv 文件的字段列表

Question

上下文：azure - ADF 简要流程说明：

获取在 .csv(blobed) 文件的第一行中定义的字段列表。这是第一步，检测字段

那么第二步就是与 SQL 表的实际列进行比较

第三个执行存储过程来完成alter table任务，完成一个（自定义）表，其中包含成功将.csv文件加载到SQl表中所需的所有字段。

为了开始我的 ADF 管道，我设置了一个查找活动，它“查询”我的 blobed 文件的第一行 "First row only" flag = ON。作为第二个管道活动，一个“附加变量”任务，我想在那里获得从查找活动中检索到的所有 .csv 字段（第一行），作为列表。

这是一场噩梦。

据我所知，通过动态内容，我可以获得一个包含所有值的数组（带有{"field1_name":"field1_value_1st_row", "field2_name":"field2_value_1st_row", etc } 之类的格式） 像@activity('Lookup1').output.firstrow 这样的东西。 或任何带有@activity('Lookup1').output.firstrow.<element_name> 的数组元素， 但我不知道如何获取数组的所有字段名称（键？）的列表。

我将不胜感激任何建议，非常感谢！

Answer 1

我会保存 LookUp Activity 的部分，因为您似乎对它很熟悉。

您可以使用 Azure Function HttpTrigger 来获取 firstrow JSON 对象的键列表。例如，您在问题中提到的这样的 json 对象：

{"field1_name":"field1_value_1st_row", "field2_name":"field2_value_1st_row"}

Azure 函数代码：

module.exports = async function (context, req) {
    context.log('JavaScript HTTP trigger function processed a request.');
    var array = [];
    for(var key in req.body){
        array.push(key);       
    }
    context.res = {
        body: {"keyValue":array}
    };
};

测试输出：

然后使用Azure Function Activity得到输出：

@activity('<AzureFunctionActivityName>').keyValue

使用Foreach Activity循环keyValue数组：

@item()

---

还是基于上面的示例输入数据，请参考我的示例代码：

dct = {"field1_name": "field1_value_1st_row", "field2_name": "field2_value_1st_row"}
list = []
for key in dct.keys():
    list.append(key)

print(list)
dicOutput = {"keys": list}
print(dicOutput)

Answer 2

您是否考虑过在 ADF 数据流中这样做？您可以将传入字段映射到没有目标架构的 SQL 数据集。在数据集定义中定义新表名，然后将 CSV 中的传入字段映射到新的目标表架构定义。 ADF 将使用该文件的架构将行写入新表。