在 MapReduce 中拥有更多的 reducer 有什么优点和缺点？

【问题标题】：What is the advantages and disadvantages of having more reducers in MapReduce?在 MapReduce 中拥有更多的 reducer 有什么优点和缺点？
【发布时间】：2018-02-24 08:15:59
【问题描述】：

MapReduce 编程都是关于并行处理的，那么为什么我们在很多情况下从单个 reducer 开始。在 MapReduce 中使用更多的 reducer 有什么优点和缺点？

【问题讨论】：

标签： hadoop mapreduce cluster-computing reducers bigdata

【解决方案1】：

一个 reducer 可能在一个或多个分区上工作，因此它特别限制了并行化，因为它只有一个。

过多的reducer会导致创建过多的small HDFS（输出）文件，这是不好的，并且会对HDFS造成压力，因为需要进行内务处理。

【讨论】：

我猜你的意思是“因此它限制了并行化”......（而不是“不限制”）