PySpark Dataframe中的GroupBy水平堆叠[重复]

Question

我有一个这样的 PySpark 数据框：

cust_id prod
      1    A
      1    B
      1    C
      2    D
      2    E
      2    F

期望的输出：

cust_id   prod
      1  A/B/C
      2  D/E/F

现在使用 Pandas 我可以像下面这样：

T=df.groupby(['cust_id'])['prod'].apply(lambda x:np.hstack(x)).reset_index()

def func_x(ls):
    n=len(ls)
    s=''
    for i in range(n):
        if n-i==1:
            s=s+ls[i]
        else:
            s=s+ls[i]+'/'
    return s

T['prod1']=T['prod'].apply(lambda x:func_x(x))

此代码在 PySpark 中的等效项是什么？

Answer 1

import pyspark.sql.functions as F
separator = '/'
T = df.groupby('cust_id').agg(F.concat_ws(separator, f.collect_list(df.col2)))