学习笔记_MapReduce与Shuffle

MapReduce运行详解

MapReduce是Hadoop中的分布式离线并行计算框架，主要负责批量处理数据，这里将对MapReduce的运行过程进行解释

MapReduce在运行任务时会产生Map Task和Reduce Task两个进程，可分为Map、Shuffle和Reduce三个阶段

Map

1. 每个map接收传来的一个split，格式为< key，value >，其中key为LongWritable格式，是当前数据在文件中的偏移量，value为Text格式，是当前split中的数据
2. map根据编写的代码对传入值进行处理后返回一个< key,value >

Shuffle

1. 将map返回的结果按key进行分区(默认是对key进行hash后再对reduce数量取模，达到平衡各reduce工作量的作用)，并不断写入到环形缓冲区中
2. 环形缓冲区默认是100M，当写入的数据达到阈值80%(即80M)的时候开始向磁盘溢写数据，此时溢写数据的进程与写入环形缓冲区的进程并不是同一个，因此在溢写过程中，依旧可以写入到环形缓冲区空余的20M空间中，溢写过程为先对数据按key进行sort排序，如果有定义combine(与reduce功能一样，进行数据合并)则会在合并后生成溢写文件，combine需要慎用，只建议在reduce输入与输出类型相同，进行求和或最大值计算并且不影响最终结果时使用
3. 由于map最终的文件只能有一个，所以会对所有溢写文件根据分区进行merge，形成一个文件
4. 为每个reduce从各个map生成的文件中不断拉取对应分区的数据进行merge形成新的文件

Reduce

1. 接收Shuffle最后生成的对应自己分区的文件，对数据进行合并
2. 将结果保存到HDFS指定路径