在 Spark SQL DataFrame 中的 UDF 方法中调用其他方法/变量

Question

我有一个 Spark SQL DF，我试图在其中调用一个 UDF [ 我使用 Spark SQL udf 创建。

val udfName = udf(somemethodName)
val newDF = df.withColumn("columnnew", udfName(col("anotherDFColumn"))

我正在尝试使用在 somemethodName 中存储为 val 的另一个 DF，但 DF 以 null 的形式出现。

只有当我在 newDF 中使用 where 子句时才会发生这种情况。

我错过了什么吗？难道不能在 UDF 方法中使用另一个变量/方法吗？

或者我必须对广播做些什么？目前我在本地运行它，而不是在集群中。

Answer 1

难道不能在UDF方法中使用其他变量/方法

当且仅当该变量/方法可以序列化时是可能的 - UDF 是一个必须序列化并分发给执行程序的闭包。

Dataframe 无法序列化（它是指向其他分布式数据的指针，因此如果不将其收集到驱动程序内存中就没有逻辑方法来序列化它），因此当您尝试时显示为 null使用 UDF。

您可能需要 join 某个键上的两个数据帧，然后使用从连接的数据帧中获取列的 UDF（或标准转换）。