MapReduce 低效的减速器

【问题标题】：MapReduce inefficient reducerMapReduce 低效的减速器
【发布时间】：2011-07-25 17:36:36
【问题描述】：

除了 map 函数输出的所有键相同之外，什么会导致 MapReduce 作业中只有一个 reducer？

【问题讨论】：

【解决方案1】：

可能的原因：

您的集群仍然具有只有 1 个减速器的默认设置（= 默认值）。
您的代码将值明确设置为 1 个 reducer。
您正在本地模式下运行（即根本没有集群）。

<property>
  <name>mapred.reduce.tasks</name>
  <value>1</value>
  <description>The default number of reduce tasks per job. Typically set to 99%
  of the cluster's reduce capacity, so that if a node fails the reduces can 
  still be executed in a single wave.
  Ignored when mapred.job.tracker is "local".
  </description>
</property>

【讨论】：