Spark 二次排序自定义key 实现(Java)

楔子

spark java版本的二次排序

实现

数据如下

2::4
2::10
3::6
1::5

按照 第一列 和第二列 倒叙排列 实现如下的结果

3::6
2::10
2::4
1::5

demo

GitHub 位置 的 SecondarySortKey.java 和SecondarySort.java

Spark中sortByKey实现算子对数据的Key排序。二次排序需要自定义key值，在自定义key中实现排序的功能

排序使用了 Comparator进行排序 借助了工具类CompareToBuilder()的方法，排序部分如下

@Override
public int compareTo(SecondarySortKey o) {
	// 此结果是正序排列
	return new CompareToBuilder().append(first, o.first).append(second, o.second).toComparison();
	// 1::5
	// 2::4
	// 2::10
	// 3::6
}