shuffle是非常重要!一定要深入理解和多实践。

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

缓存,分组,排序,转发,这些都是mr的shuffle。

Soga

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

 

 

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

我想得到按流量来排序,而且还是倒序,怎么达到实现呢?这就牵扯到排序的的问题

默认是根据key来排,

我想根据value里的某个排,

解决思路:将value里的某个,放到key里去,然后来排

下面,开始weekend110的hadoop的自定义排序实现

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

也要修改FlowBean代码

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

 Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

Hadoop MapReduce概念学习系列之shuffle大揭秘(十九)

 

 


本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5713701.html,如需转载请自行联系原作者

相关文章: