在窗口函数的帮助下用平均 Pyspark 替换 NA [关闭]

Question

我想借助 pyspark 中的窗口函数将 NA 替换为基于多列的均值和中位数

示例输入：

均值所需的输出：

中位数所需的输出： 输出将与上面相同，但需要根据中位数替换，并且在 pyspark 中找不到 pyspark.sql.functions 中的函数

Answer 1

创建示例数据框：

from pyspark.sql.window import Window
from pyspark.sql import functions as F

list=([1,5,4],
    [1,5,None],
    [1,5,4],
    [1,5,4],
    [2,5,1],
    [2,5,2],
    [2,5,None],
    [2,5,None])
df=spark.createDataFrame(list,['I_id','p_id','xyz'])
df.show()

+----+----+----+
|I_id|p_id| xyz|
+----+----+----+
|   1|   5|   4|
|   1|   5|null|
|   1|   5|   4|
|   1|   5|   4|
|   2|   5|   1|
|   2|   5|   2|
|   2|   5|null|
|   2|   5|null|
+----+----+----+

创建窗口并填充空值：

w=Window().partitionBy("I_id","p_id")
df.withColumn("mean",F.mean("xyz").over(w))\
.withColumn("xyz", F.when(F.col("xyz").isNull(),F.col("mean")).otherwise(F.col("xyz")))\
.drop("mean").show()

+----+----+---+
|I_id|p_id|xyz|
+----+----+---+
|   1|   5|4.0|
|   1|   5|4.0|
|   1|   5|4.0|
|   1|   5|4.0|
|   2|   5|1.0|
|   2|   5|2.0|
|   2|   5|1.5|
|   2|   5|1.5|
+----+----+---+