随着集群规模的增加，在 Elastic MapReduce w/AMI 3.1.0 和 Hadoop 2.4.0 上，每个节点同时运行的映射器数量急剧下降答案

【问题标题】：Number of concurrently running mappers per node drops precipitously on Elastic MapReduce w/ AMI 3.1.0 and Hadoop 2.4.0 as cluster size increases随着集群规模的增加，在 Elastic MapReduce w/AMI 3.1.0 和 Hadoop 2.4.0 上，每个节点同时运行的映射器数量急剧下降
【发布时间】：2014-08-10 13:31:01
【问题描述】：

在一个相关问题 (How to set the precise max number of concurrently running tasks per node in Hadoop 2.4.0 on Elastic MapReduce) 中，我要求提供将同时运行的映射器/减速器数量与 YARN 和 MR2 内存参数相关联的公式。事实证明，在 Elastic MapReduce 上，当我的集群有 2 到 10 个 c3.2xlarge 节点时，上面提到的公式的变体可以正常工作，每个节点有 7-9 个同时运行的映射器；但是当 c3.2xlarges 的数量为 20 或 40 时，我发现集群未充分利用：每个节点只运行 1-4 个映射器。由于我的工作是 CPU 密集型的，这尤其糟糕：MR2 为我提供了 MR1 的 _half_性能。

为什么会这样？

【问题讨论】：

标签： hadoop amazon-web-services amazon-ec2 elastic-map-reduce hadoop-yarn

【解决方案1】：

NameNode 可以输出的内容会受到限制。当这样增加任务节点时，您可以并且应该为 NameNode 指定更大的实例类型。 MR1 页面从未为 c3s 更新 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration.html

【讨论】：