reducer 采用映射器核心

Question

我正在使用 88 个内核和 60 个减速器的 hadoop 集群上运行 mapreduce 作业。由于某种原因，它只使用了 79 个集群核心。开始时它使用 79 个映射器运行，但当一半拆分完成时，它使用 53 个映射器和 26 个减速器，并且运行映射器的数量随后继续减少，这增加了作业完成时间。 Log 说这 26 个 reducer 复制了计算数据。 是否可以让 hadoop 先运行所有映射器，然后再运行减速器？ 就像在 spark 或 tez 作业中一样，它们使用所有内核进行映射，然后使用所有内核进行缩减。

Answer 1

将mapreduce.job.reduce.slowstart.completedmaps 设置为 1.0。引用mapred-default.xml:

mapreduce.job.reduce.slowstart.completedmaps

0.05

作业中应在为作业安排 reduce 之前完成的地图数量的一部分。