使用 Hadoop 2.7.4 资源问题配置 Yarn答案

【问题标题】：Configure Yarn with Hadoop 2.7.4 resources issue使用 Hadoop 2.7.4 资源问题配置 Yarn
【发布时间】：2018-03-01 09:50:15
【问题描述】：

我已经按照tutorial 配置了 hadoop 2.7.4。 DataNode、NameNode 和 SecondaryNameNode 工作正常。

但是当我运行 yarn 时，NodeManager 会出现以下消息

org.apache.hadoop.yarn.exceptions.YarnRuntimeException: org.apache.hadoop.yarn.exceptions.YarnRuntimeException：收到来自 Resourcemanager 的 SHUTDOWN 信号，NodeManager 的注册失败，来自 ResourceManager 的消息：来自 localhost 的 NodeManager 不满足最小分配，发送 SHUTDOWN 信号到节点管理器。

我的系统有 8 个 CPU 和 8 GB RAM。如何使用这些资源配置纱线？我找到了很多诸如 this 之类的东西，但找不到任何解决我问题的解决方案。

【问题讨论】：

标签： hadoop hdfs hadoop-yarn hadoop2

【解决方案1】：

我在课程中遇到了同样的问题。我们使用的是具有 2 个内核的 Amazon 虚拟机。

在yarn-site.xml 中进行各种修改后，我们让我们的 NodeManager 运行并设置以下属性

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>4096</value>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>2</value>
</property>

在您的情况下，您可能需要建立 8 个虚拟内核。

【讨论】：