Pyspark：如何根据另一列的值填充空值

Question

我想根据 id 列的值在 Spark df 上填充空值。

Pyspark df：

index	id	animal	name
1	001	cat	doug
2	002	dog	null
3	001	cat	null
4	003	null	null
5	001	null	doug
6	002	null	bob
7	003	bird	larry

预期结果：

index	id	animal	name
1	001	cat	doug
2	002	dog	bob
3	001	cat	doug
4	003	bird	larry
5	001	cat	doug
6	002	dog	bob
7	003	bird	larry

Answer 1

您可以将last（或first）与窗口函数一起使用。

from pyspark.sql import Window
from pyspark.sql import functions as F

w = Window.partitionBy('id')
df = (df.withColumn('animal', F.last('animal', ignorenulls=True).over(w))
      .withColumn('name', F.last('name', ignorenulls=True).over(w)))