从数据流中的列名数组创建列数组

Question

如何从数据流中的列名数组创建列数组？ 下面创建一个排序列数组，最后一列除外：

sort(slice(columnNames(), 1, size(columnNames()) - 1), compare(#item1, #item2))

我想为这个列名数组获取一个列数组。我试过这个：

toString(byNames(sort(slice(columnNames(), 1, size(columnNames()) - 1), compare(#item1, #item2))))

但我不断收到错误消息：

Column name function 'byNames' does not accept column or argument parameters 

谁能帮我解决这个问题？

Answer 1

更新--

似乎以任何方式（直接或将其分配给参数）使用 ColumnNames() 似乎会导致错误。在 Spark 上运行时，它被馈送到 byNames() 函数。由于无法直接在数据流中重新引入作为参数或分配变量，请参阅下面对我有用的方法。

DataFLow 中有空字符串数组类型参数

在带有参数sha2(256,byNames($cols))的派生列中照常使用sha2函数

创建管道，使用 getMetadata 获取结构，从中可以获取列名。

对于每一列，在 ForEach 活动中附加到一个变量。

接下来，连接到 DataFLow 并传递包含列名的变量。

byNames 函数的文档指出“计算输入不受支持，但您可以使用参数替换”。这解释了为什么应该使用参数作为输入来创建在 byNames 函数中使用的数组：

示例：$cols 参数保存列列表。

sha2(256,byNames(split($cols,',')))

您可以通过在使用 in 函数之前创建数组来使用计算列名称作为输入。不要在函数调用中创建内联表达式，而是先在参数中设置列值，然后直接在函数中使用它。

对于数组类型的参数$cols：

$cols = sort(slice(columnNames(), 1, size(columnNames()) - 1), compare(#item1, #item2))

toString(byNames(sort(slice($cols, compare(#item1, #item2))))

参考：byNames