Hadoop Streaming - 设置每个节点的最大映射数

【问题标题】：Hadoop Streaming- Set max number of maps per nodeHadoop Streaming - 设置每个节点的最大映射数
【发布时间】：2011-12-28 13:21:41
【问题描述】：

是否可以设置每个节点运行的地图任务数量。
我正在使用 Hadoop Streaming 来抓取数据，每个节点只需要一个地图任务来避免阻塞。

谢谢，

【问题讨论】：

【解决方案1】：

无论是否使用流式处理，每个节点的最大映射器 # 可以使用 mapreduce.tasktracker.map.tasks.maximum 参数设置。该参数必须在节点的mapred-site.xml文件中设置，在客户端设置时该属性无效。

【讨论】：

【解决方案2】：

您是否尝试过在 job.xml 中使用以下设置？

mapred.max.maps.per.node=1
mapred.max.reduces.per.node=1

这些默认为 -1，无限制（当然，可用插槽除外）。

【讨论】：