DataFrame 列（数组类型）包含 Null 值和空数组（len =0）。如何将 Null 转换为空数组？

Question

我有一个带有 Array 列 (StringType) 的 Spark DataFrame

示例数据帧：

df = spark.createDataFrame([
  [None],   
  [[]],   
  [['foo']] 
]).toDF("a")

电流输出：

+-----+
|    a|
+-----+
| null|
|   []|
|[foo]|
+-----+

所需的输出：

+-----+
|    a|
+-----+
|   []|
|   []|
|[foo]|
+-----+

我需要将 Null 值转换为空数组以与另一个数组列连接。

已经试过了，但是不行

df.withColumn("a",F.coalesce(F.col("a"),F.from_json(F.lit("[]"), T.ArrayType(T.StringType()))))

Convert null values to empty array in Spark DataFrame

Answer 1

使用array 函数。

df = spark.createDataFrame([
  [None],   
  [[]],   
  [['foo']] 
]).toDF("a")

import pyspark.sql.functions as F

df.withColumn('a', F.coalesce(F.col('a'), F.array(F.lit(None)))).show(10, False)
+-----+
|a    |
+-----+
|[]   |
|[]   |
|[foo]|
+-----+

---

结果现在是数组（字符串），所以没有空值。请检查结果。

temp = spark.sql("SELECT a FROM table WHERE a is NULL")
temp.show(10, False)
temp = spark.sql("SELECT a FROM table WHERE a = array(NULL)")
temp.show(10, False)
temp = spark.sql("SELECT a FROM table")
temp.show(10, False)


+---+
|a  |
+---+
+---+

+---+
|a  |
+---+
|[] |
+---+

+-----+
|a    |
+-----+
|[]   |
|[]   |
|[foo]|
+-----+