【发布时间】:2017-08-17 10:29:41
【问题描述】:
我有大约 5 列要添加到数据框中。 (A - E) 这些列的值存储在 (a - e) 变量中。
而不是使用
df.withColumn("A", a).withColumn("B", b).withColumn..... etc
我们可以用 udf 做到这一点吗?
目前我已经命名了函数:
def add_col(df_name,newCol,value):
df = df_name
df = df.withColumn(newCol, value)
return df
但我无法理解如何将其转换为 UDF 并使用它。请帮忙。
【问题讨论】:
-
一个 UDF 不能产生超过 1 列...但您可以返回一个复杂列(数组或结构类型)。但显然你正在使用常量(文字)值,所以我看不出使用 UDF 的意义
标签: python apache-spark pyspark user-defined-functions