使用 Pyspark 将 Arraylist 值添加到 Spark Dataframe 中的新列 [重复]

Question

我想在现有数据框中添加一个新列。下面是我的数据框 -

+---+---+-----+
| x1| x2|   x3|
+---+---+-----+
|  1|  a| 23.0|
|  3|  B|-23.0|
+---+---+-----+

我可以像这样添加df = df.withColumn("x4", lit(0))

+---+---+-----+---+
| x1| x2|   x3| x4|
+---+---+-----+---+
|  1|  a| 23.0|  0|
|  3|  B|-23.0|  0|
+---+---+-----+---+

但我想在我的 df 中添加一个数组列表。

假设 [0,0,0,0] 是我要添加的数组，添加后我的 df 将如下所示 -

+---+---+-----+---------+
| x1| x2|   x3|       x4|
+---+---+-----+---------+
|  1|  a| 23.0|[0,0,0,0]|
|  3|  B|-23.0|[0,0,0,0]|
+---+---+-----+---------+

我试过这样 -

array_list = [0,0,0,0]
df = df.withColumn("x4", lit(array_list))

但是报错了

py4j.protocol.Py4JJavaError: An error occurred while calling z:org.apache.spark.sql.functions.lit.
: java.lang.RuntimeException: Unsupported literal type class java.util.ArrayList [0, 0, 0, 0, 0, 0]

有人知道怎么做吗？

Answer 1

Based on your comment

我的数组是可变的，我必须将它添加到具有不同值的多个位置。这种方法适用于添加相同的值或添加一个或两个数组。它不适合添加大量数据

我认为这是一个 XY 问题。如果您想要可扩展的解决方案（说实话，1000 行并不大），那么使用另一个数据框并加入。例如如果想通过x1连接

arrays = spark.createDataFrame([
    (1, [0.0, 0.0, 0.0]), (3, [0.0, 0.0, 0.0])
], ("x1", "x4"))


df.join(arrays, ["x1"])

根据需求添加更复杂的条件。

要解决您的紧迫问题，请参阅 How to add a constant column in a Spark DataFrame? - array 的所有元素都应该是列

from pyspark.sql.functions import lit

array(lit(0.0), lit(0.0), lit(0.0))
#  Column<b'array(0.0, 0.0, 0.0)'>