【发布时间】:2014-04-06 08:16:42
【问题描述】:
我想在 Hadoop 集群上同时运行多个作业,但我想防止某些作业在该作业的所有映射任务完成之前启动 reduce 阶段(使 reduce 插槽繁忙或保留)。 是否有任何工作配置可以像上面一样进行主题限制?
谢谢。
【问题讨论】:
我想在 Hadoop 集群上同时运行多个作业,但我想防止某些作业在该作业的所有映射任务完成之前启动 reduce 阶段(使 reduce 插槽繁忙或保留)。 是否有任何工作配置可以像上面一样进行主题限制?
谢谢。
【问题讨论】:
减少慢启动 默认情况下,调度程序会等到一个作业中 5% 的地图任务完成之前 为同一个作业调度reduce任务。对于大型作业,这可能会导致问题 集群利用率,因为它们在等待映射任务时占用减少槽 完全的。将 mapred.reduce.slowstart.completed.maps 设置为更高的值,例如 0.80 (80%),有助于提高吞吐量。
参考:Hadoop 权威指南第 3 版,第 9 章: 设置 Hadoop 集群页面:316
【讨论】:
您可以获得默认值 here Apache Hadoop mapred.reduce.slowstart.completed.maps 的值 0.05 是
作业中应在为作业安排 reduce 之前完成的地图数量的一部分。
【讨论】: