大数据学习笔记19：MR解决问题思路

MR解决问题思路

 

 

 

 

   1、分而治之   把一个大任务 划分为多个小块 来分别计算

 

   2、map 就是对每个小块分别处理的过程，处理完产生一个中间结果。一般这个中间结果要比原始数据小很多。

        这多个小块进行并发处理，提供处理速度。

 

  3、reduce 是对中间结果的 汇总

        reduce可能是一个 也可能是多个。上面例子中只能是一个。若是一个 按月统计数据的处理 ，则可能是一个月份对应一个 reduce 。