Spark SQL函数之分组排序

需求：根据class分组对组内的age进行排序

原表


结果


Spark  SQL :
SELECT name,  age,  class,  row_number() over(partition by age order byclass) as RE FROM A

默认会把同一分组的age最大放到第一位，并且设置RE=1，以此类推

注意事项 ：

SELECT first(name) as name FROM
(
        SELECT name,  age,  class,  row_number() over(partition by age order by class) as RE FROM A
)  B group by class
以上SQL不会得到年龄最大的人

原因推测（未阅读源码，本人推测）

SELECT name,  age,  class,  row_number() over(partition by age order byclass) as RE FROM A  本句SQL虽然把结果排序了，但是再次进行Group   By的时候把原来的数据重新打乱了。

看下图：

分组排序的时候把同组数据发送到服务器A上，只有GROUP  BY刚好在服务器A上读取数据，最终结果才是有序的


进行GROUP  BY是部分分组的数据被移动到服务器B上，移动过程数据变得无序


Spark分布式计算的过程为了负载均衡讲数据发送到别的服务器处理，以上均为个人YY.