map-reduce 、map、reduce

2019独角兽企业重金招聘Python工程师标准>>>

                                           map-reduce 过程

中间绿线区域就是shuffle（“洗牌”）过程：map之后，reduce之前的过程。

可以这样理解：一个map 产生的数据，结果通过hash过程分区却分配给了不同的reduce任务，就相当于对数据洗牌的过程。

                                                                             map端过程

                                                                                               reduce 过程 

转载于:https://my.oschina.net/u/189445/blog/528289