一 本地优化——Combine
Hadoop的Map-Shuffle-Reduce
Hadoop的Map-Shuffle-Reduce
Hadoop的Map-Shuffle-Reduce

二 从Map到Reduce阶段
Hadoop的Map-Shuffle-Reduce
注意:一个MapReduce作业中,以下三者的数量总是相等的
Hadoop的Map-Shuffle-Reduce
在一个Reduce中,所有数据都会被按照key值升序排序,故如果part输出文件中包含key值,则这个文件一定是有序的。

三 Reduce任务数量
Hadoop的Map-Shuffle-Reduce

四 Reduce任务数量
Hadoop的Map-Shuffle-Reduce

相关文章: