hadoop 配置中 mapred.tasktracker.tasks.maximum 的默认值是多少答案

【问题标题】：what is the default value for mapred.tasktracker.tasks.maximum in hadoop configurationhadoop 配置中 mapred.tasktracker.tasks.maximum 的默认值是多少
【发布时间】：2015-01-08 23:20:28
【问题描述】：

我在链接中找到了这个配置名称 http://wiki.apache.org/hadoop/HowManyMapsAndReduces

但是，当我尝试搜索 hadoop 文档时，我发现配置名称为

 mapred.tasktracker.reduce.tasks.maximum   default value 2
 mapred.tasktracker.map.tasks.maximum      default value 2

http://hadoop.apache.org/docs/r1.1.1/mapred-default.html 但是我找不到 mapred.tasktracker.tasks.maximum ？请建议是否缺少一些明显的理解？

【问题讨论】：

标签： hadoop hadoop-streaming

【解决方案1】：

第一个link 解释了您应该为您的 MapReduce 作业设置多少个映射器（只是一个指示）和减速器，以便您可以实现更好的负载平衡。

你提到的第二件事是每个节点可以同时运行多少个map任务和reduce任务。在http://hadoop.apache.org/docs/r1.1.1/mapred-default.html 中，这些配置显示为：

mapred.tasktracker.map.tasks.maximum         2  
mapred.tasktracker.reduce.tasks.maximum      2

如果你想改变它们，那么你应该改变文件{$HADOOP_HOME}/conf/mapred-site.xml，其中${HADOOP_HOME}是hadoop的路径。

例如，如果您确定需要 8 个 reducer（这可以通过在代码中设置 conf.setNumReduceTasks(8); 来完成）并保留这些默认值，假设集群中有 2 个节点，每个节点将运行 2 个开始时映射任务，因此总体而言，2x2 = 4 个映射任务将在您的集群中运行。当这些地图任务中的任何一个完成时，节点将运行队列中的下一个地图任务。在任何时候，您的集群中都会运行 4 个地图任务（最多）。

编辑：我发现了错误。在第一个链接中它说：

The right number of reduces seems to be 0.95 or 1.75 * (nodes * mapred.tasktracker.tasks.maximum).

应该是：

The right number of reduces seems to be 0.95 or 1.75 * (nodes * mapred.tasktracker.reduce.tasks.maximum).

【讨论】：

那句话令人困惑……0.95 或 1.75 是什么？可以更改的设置？
这是一个计算reducer数量的公式。您可以选择此数字作为您想要的任何数字，但 OP 提供的链接中的建议值为 0.95 或 1.75 * (nodes * mapred.tasktracker.reduce.tasks.maximum)
好的，谢谢。我的印象是它会影响默认计数，因此期望成为一个设置。
能否请您澄清一下，如果我的集群中有 4 台主机，每台主机有 8 个 CPU，是否意味着我应该设置 mapred.tasktracker.map.tasks.maximum=8 或 mapred.tasktracker。 map.tasks.maximum=1.75 * 4 * 8=56 最大化映射器的数量？
map.tasks.maximum 是每台机器，因此您可以设置的最大值确实是 8。我建议您将其设置为较低的值（例如 6），但这也取决于多少您分配给每个地图任务的堆，因为总数不应超过机器的内存。