如何合并 pyspark 数据框并删除空值？

Question

我有以下 pyspark 数据框结构：

device | value_0|value_1|value_2|value_3|
   1     43      null    null    null
   2     null    22      null    null
   3     null    null    5       null
   4     null    null    null    89
   1     44      null    null    null
   2     null    23      null    null
   3     null    null    6       null
   4     null    null    null    90

我的目标是合并列：

      device|value|
       1     43      
       2     22      
       3     5 
       4     89
       1     44      
       2     23
       3     6      
       4     90

你会怎么做？

Answer 1

使用F.coalesce 合并空值：

import pyspark.sql.functions as F
df = df.select('device',
    F.coalesce(
        *[F.col(col) for col in ['value_0', 'value_1', 'value_2', 'value_3']]
    ).alias('value')
)