在 pyspark 数据帧上使用 Groupby 计算百分位数

Question

我正在尝试分组，然后在 pyspark 数据帧上计算百分位数。我根据以下代码测试了 到这个stackoverflow post:

from pyspark.sql.types import FloatType
import pyspark.sql.functions as func
import numpy as np

qt_udf = func.udf(lambda x,qt: float(np.percentile(x,qt)), FloatType())
df_out = df_in.groupBy('Id').agg(func.collect_list('value').alias('data'))\
.withColumn('median', qt_udf(func.col('data'),func.lit(0.5)).cast("string"))  

df_out.show()

但得到以下错误：

Traceback（最近一次调用最后一次）：> df_out.show() ....> return lambda *a: f(*a) AttributeError: 'module' object has no attribute 'percentile'

这是因为 numpy 版本（1.4.1），百分位函数是从 1.5 版本开始添加的。短期内无法更新numpy版本。

Answer 1

定义一个窗口并使用内置的percent_rank 函数来计算百分位值。

from pyspark.sql import Window
from pyspark.sql import functions as func
w = Window.partitionBy(df_in.Id).orderBy(df_in.value) #assuming default ascending order
df_out = df_in.withColumn('percentile_col',func.percent_rank().over(w))