在 reducer 上执行 Hadoop 组合器

Question

我有一个长期运行的 MapReduce 作业，其中一些映射器比其他映射器花费更多的时间。

检查 Web 界面上的统计信息，我看到我的组合器也启动了减速器（其中大部分是空闲的，因为只有 2 个映射器仍在运行）。

虽然在所有映射器完成之前不要浪费时间并进行一些预聚合似乎是合理的，但我找不到任何有关此行为的文档。谁能确认这确实是 Hadoop 的一个功能，或者只是在 Web 界面上显示错误？

Answer 1

组合器在映射器发出合理数量的数据时启动。请注意，组合器作为映射器输出的聚合（通常）运行（而不是在化简端）。更多详情请见here。

此外，reducer 可以在所有映射器完成之前开始（仅）收集映射器发出的数据。这被称为减速器的洗牌阶段。您可以通过更改mapred.reduce.slowstart.completed.maps 属性（或在较新版本中为mapreduce.job.reduce.slowstart.completedmaps）来更改reducer 开始收集数据的时间。更多详情请关注this SO post。