如何将任何列的最小值对应于火花中其他列的最大值

Question

我在 spark sql 中有一个由以下 csv 文件组成的数据框：

客户、桶、频率

A,3,4

A,2,1

A,1,4

B,1,3

B,3,4

B,2,4

C,3,1

C,2,1

C,4,1

D,2,3

D,4,5

D,1,5

对于每个客户，我想要与最大频率对应的最小桶数。所需的输出：

客户，桶

A,1

B,2

C,2

D,1

任何帮助将不胜感激。谢谢朋友！！

Answer 1

窗口函数应该可以帮助你。代码应该是这样的：

val partitioner = Window.partionBy($"cust").orderBy($"freq", $"bucket" desc)
val partitionedDF = df.withColumn("numerator", rowNumber.over(partitioner))
//df is dataframe, which contains your data
partitionedDF.filter('numerator == 1)

我希望它会起作用