Map-reduce 概念

Question

map 和 reduce 函数在什么类型的输入和输出中起作用 使用 MapReduce？两个函数的输入输出是如何连接的？

MapReduce中map函数的输入是一个文档

MapReduce中map函数的输出是一个tuple(word,1)的序列

MapReduce中reduce函数的输入是一个键和该键的所有值的列表

MapReduce中reduce函数的输出是一个元组序列（单词，出现次数）

正确吗？连接的函数呢，是combiner吗？

Answer 1

输入和输出通过序列化连接。

默认输入是TextInputFormat，它使用LineRecordReader，但是这两个属性都可以被覆盖

在下面，一切都只是字节，MapReduce 中的 Writable 对象（Text、IntWritable 等）只是byte[] 上的薄层

Reducer 输入是映射器的连接输出，按键，是的。输出是键值对或元组。但是这两个值都可以是复杂的对象，因此您输出的不仅仅是两个字段。 Combiner 只是一种不同类型的 Reducer。