将表数据作为二进制文件推送到 UDF答案

【问题标题】：Shove table data as binary into UDF将表数据作为二进制文件推送到 UDF
【发布时间】：2021-05-06 20:02:54
【问题描述】：

我有一个这样定义的 UDF：

def my_function(input: Array[Byte])

我想在 Spark SQL 中调用它，所以我正在尝试

SELECT my_function(binary(CONCAT(*))) FROM table;

但我认为这不起作用。据我了解，select * 将返回Array[Row]，然后调用本机函数binary 将对其进行序列化。这会将Array[Row] 转换为Array[Byte] 吗？不知道如何通过 sql 调用这个 udf

【问题讨论】：

【解决方案1】：

我们必须注册函数，然后我们才能使用UDF

即

spark.udf.register（有趣的名称和定义）

您可以在link 上探索更多信息

【讨论】：