使用 Pyspark SQL 函数组合 4 列并按一列分组

Question

我正在尝试将四列（QBR、码、达阵和拦截）连接或组合成一列，并使用 pyspark 中的 f 等 sql 函数按球衣号码对它们进行分组。下面列出的是我尝试使用的编码、实际数据以及我预期的数据结果。

import pyspark.sql.functions as f
from pyspark.sql.functions import concat, lit, col
df = df.groupby('Jersey Number).withColumn("joined", f.concat(f.col('QBR'), f.lit(','), f.col('Yards'), f.lit(','), f.col('Touchdowns'), f.lit(','), f.col('Interceptions'))
Name           Jersey Number      QBR        Yards    Touchdowns     Interceptions Fumbles
Kyler Murray       1              123.5      4120      40             6
Drew Brees         9              132.1      4500      52             12
Philip Rivers      17             120.4      3800      27             5
Andy Dalton        14             105.6      3650      22             7



Jersey Number   Stats       
    1           123.5, 4120, 40, 6
    9           132.1, 4500, 52, 12
    14          105.6, 3650, 22, 7
    17          120.4, 3800, 27, 5

Answer 1

尝试使用 concat_ws, flatten, collect_list(array(cols)) 函数。

Example:

df.show()
#+-------------+-----+-----+-----+-------------+
#|Jersey number|  QBR|yards|touch|intercepyions|
#+-------------+-----+-----+-----+-------------+
#|            1|123.5| 4120|   40|            6|
#+-------------+-----+-----+-----+-------------+

from pyspark.sql.functions import *

df.groupBy("Jersey number").\
agg(concat_ws(",",flatten(collect_list(array(*cols)))).alias("Stats")).\
show(10,False)
#+-------------+---------------------+
#|Jersey number|Stats                |
#+-------------+---------------------+
#|1            |123.5,4120.0,40.0,6.0|
#+-------------+---------------------+

df.groupBy("Jersey number").agg(array_join(flatten(collect_list(array(*cols))),',').alias("stats")).show(10,False)
#+-------------+---------------------+
#|Jersey number|stats                |
#+-------------+---------------------+
#|1            |123.5,4120.0,40.0,6.0|
#+-------------+---------------------+

import as f:

from pyspark.sql import functions as f

cols = ['QBR', 'yards', 'touch', 'intercepyions']

df.groupBy("Jersey number").agg(f.concat_ws(",",f.flatten(f.collect_list(f.array(*cols)))).alias("Stats")).show(10,False)

#or using array_join
df.groupBy("Jersey number").agg(f.array_join(f.flatten(f.collect_list(f.array(*cols))),',').alias("stats")).show(10,False)