Mapreduce 工作：没有 reducer 的组合器

【问题标题】：Mapreduce job: combiner without reducerMapreduce 工作：没有 reducer 的组合器
【发布时间】：2013-04-28 17:56:07
【问题描述】：

我注意到如果我将 reducer 的数量设置为 0，combiner 将无法工作。可以在没有减速器的情况下使用组合器吗？谢谢。

【问题讨论】：

【解决方案1】：

不，不是。即使使用指定的 Reducer，也不能保证使用组合器。因此，combiners 是严格的优化，可以但不一定在 Reducers 之前调用。如果没有 reducer，这些将永远不会被调用。

【讨论】：

【解决方案2】：

组合器的全部目的是“组合”映射器输入的部分，以便映射输出在发送到减速器时消耗更少的网络带宽。如果没有减速器，使用组合器的全部意义就变得毫无意义。因此，不，这是不可能的。

【讨论】：