wordcount mr执行流程

图解wordcount mr执行流程

  1. 对文本文件进行split
  2. 每个split对应一个map 进行处理 a => <a,1>
  3. 本地进行combiner操作(想当与本地reduce),相同的key进行汇总
  4. shuffle 网络传输按key进行分发数据,相同的key在同一个reduce
  5. reduce对 数据进行聚合并落盘

相关文章: