Azure Synapse 映射数据流 - 派生列中列名的动态映射

Question

在映射数据流活动中，我有一堆来自存储帐户未处理区域的表，我的目标是仅选择其中一些列用于下一个更多处理区域。在选择列时，我需要将列名转换为更直观的名称和/或小写名称。我打算使用参数来做到这一点，所以如果我需要进行调整，我只需要在一个地方更改它。

我管理了“简单”部分 - 将相关列名列入白名单并将这些名称设为小写。但是假设我想根据字典重命名列，其中列“abc”变为“def”，“ghi”变为“jkl”。我正在尝试使用列模式在派生列转换中执行此操作。我制作了一个地图参数（我不确定它的语法是否正确）：

['abc'->'def', 'ghi' -> 'jkl']

我想我需要在翻译映射中找到匹配键的索引，然后用值数组中的正确索引替换它，但似乎没有一种简单的方法可以从函数中提取索引可在https://docs.microsoft.com/en-us/azure/data-factory/data-flow-expression-functions 获得。 这是我目前所拥有的，部分伪代码（index）：

replace($$,find(keys($translation),#item == $$),values($translation)[*index*(keys($translation),#item == $$)])

我在这个问题上停留了太久，所以我希望有人能给我一些关于如何继续的想法。

任何帮助将不胜感激。

Answer 1

我创建了一个简单的数据流进行测试。

来源数据预览：

参数：

然后我在DerivedColumn转换中测试了serval表达式：

1.在列模式中，使用下面的表达式replace($$,find(keys($translation),toString(#item) == $$),values($translation)[mapIf(keys($translation),toString(#item) == $$,#index)[1]])，这是行不通的。通过mapIf(keys($translation), 1 == 1, concat($$, $$))这个表达式，我发现mapIf()中的$$函数不起作用（它返回abc和ghi，期望值为abcabc和ghighi）。我不确定这是一个错误还是 ADF 团队是这样设计的。

2.然后我没有使用列模式只是添加列尝试：replace(col1,find(keys($translation),toString(#item) == col1),values($translation)[mapIf(keys($translation),toString(#item) == col1,#index)[1]]) 和 replace(col2,find(keys($translation),toString(#item) == col2),values($translation)[mapIf(keys($translation),toString(#item) == col2,#index)[1]])

它可以得到正确的值：

结论：

不要使用列模式，只添加列，然后使用这个表达式：replace(columnName,find(keys($translation),toString(#item) == columnName),values($translation)[mapIf(keys($translation),toString(#item) == columnName,#index)[1]])