Hadoop 的 Reducer 数量

Question

我正在使用 Hadoop，但是当我开始作业时，映射器会根据输入的数量生成（这当然是所需的操作），但无论输入如何，Hadoop 都只会生成 1 个减速器。尽管存在有效的输入拆分，但我不知道为什么 Hadoop 只为该任务生成 1 个 reducer。

在强制执行更多 reducer 之前，有人可以给我提示一下为什么会发生这种情况吗？

Answer 1

检查作业的配置（一些 XML conf 文件或驱动程序中的某些内容）是否包含该属性

mapred.reduce.tasks=1

一些示例作业默认配置了此配置。

Answer 2

默认情况下，不管输入数据的大小，Hadoop 只使用 1 个 reducer。 Here 是如何增加reducer的数量。