如何在Hadoop中根据集群大小设置reduce任务

Question

我想将减少任务的数量设置为与一项作业中可用的减少槽数完全相同。

默认情况下，reduce 任务被计算为可用的 reduce 槽数的约 1.75 倍（在 Elastic Mapreduce 上）。我注意到我的作业非常均匀地完成了 reduce 任务，因此最好在作业中每个 reduce 槽运行 1 个 reducer。

但是我如何才能从我的作业配置中识别集群指标？

Answer 1

您可以使用ClusterMetrics类获取Map-Reduce集群当前状态的状态信息，如集群大小、黑名单和退役的tracker数量、集群的Slot容量、当前占用的数量/reserved map & reduce slots 等。