使用 partitionBy 将行收集到 Scala Spark 中的列

Question

我有一个问题。假设我有这样的数据：

name | surname | info | groupId
-------------------------------
John | Silver  | 123  | 1 
-------------------------------
Mary | Silver  | 144  | 2
------------------------------
Qwer | Tyyyyy  | 255  | 1

我想这样得到它：

name | surname | info | name-2  | surname-2 | info-2 | groupId 
------------------------------- |-------------------------------------
John | Silver  | 123  | Qwer    | Tyyyyy    | 255    | 1
------------------------------- |-------------------------------------
Mary | Silver  | 144  | null    | null      | null   | 2

我认为这是 Window.partitionBy("groupId") 的问题，然后我想将分区中的所有行作为列。请帮忙

Answer 1

这对您来说可能是一个可行的解决方案 使用 first() 和 groupBy() 以及 row_number()

df = spark.createDataFrame([("john","silver",123,1),("Mary","Silver",144,2),("Qwer","Tyyy",255,1)],["name","surname","info","groupId"])
df.show()
_w = W.partitionBy("groupId").orderBy(F.col("info").desc())


df = df.withColumn("rnk", F.row_number().over(_w))
df_grp = df.groupBy("groupId").pivot("rnk").agg(F.first("surname").alias("surname"), F.first("info").alias("info"),F.first("name").alias("name"))
display(df_grp)

+----+-------+----+-------+
|name|surname|info|groupId|
+----+-------+----+-------+
|john| silver| 123|      1|
|Mary| Silver| 144|      2|
|Qwer|   Tyyy| 255|      1|
+----+-------+----+-------+

   +-------+---------+------+------+---------+------+------+
|groupId|1_surname|1_info|1_name|2_surname|2_info|2_name|
+-------+---------+------+------+---------+------+------+
|      1|     Tyyy|   255|  Qwer|   silver|   123|  john|
|      2|   Silver|   144|  Mary|     null|  null|  null|
+-------+---------+------+------+---------+------+------+