Hadoop-2.7.2：如何管理资源答案

【问题标题】：Hadoop-2.7.2: How manage resourcesHadoop-2.7.2：如何管理资源
【发布时间】：2017-02-07 12:06:58
【问题描述】：

我使用具有 16 核、64 GB 内存、2.5 TB 磁盘的服务器，并且我想执行 Giraph 程序。我已经安装了hadoop-2.7.2，但我不知道如何将hadoop配置为仅使用部分服务器资源，因为服务器被许多用户使用。 要求： Hadoop 必须使用最多 12 个内核（=> 4 个内核用于 NameNode、DataNode、JobTracker、TaskTracker 和最多 8 个用于任务）和最大 28GB 内存（即 4*3GB + 8*2GB）。

我的 Yarn 站点资源配置：

<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>28672</value>
<description>Physical memory, in MB, to be made available to running containers</description>
</property>

<property>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>12</value>
    <description>Number of CPU cores that can be allocated for containers.</description>
</property>
</configuration>

当我尝试执行 Giraph 程序时，http://localhost:8088 Yarn Application 状态为：ACCEPTED: waiting for AM container to be assigned, launch and register with RM.

我认为 Yarn-site.xml 中缺少一些配置以适应上述要求。

【问题讨论】：

标签： resources hadoop-yarn hadoop2 giraph

【解决方案1】：

在为服务分配资源之前，请查看 Cloudera 中的 Yarn tuning Guide 文件，您将了解应该为操作系统、Hadoop 守护程序等分配多少资源

如你所说

Yarn 应用状态为：ACCEPTED：等待 AM 容器被分配、启动并注册到 RM

如果一个作业没有可用的资源，那么它将处于 ACCEPTED 状态，直到它获得资源。因此，在您的情况下，请检查同时提交的作业数量并检查这些作业的资源利用率。

如果你想配置不等待你的作业，你必须考虑创建scheduler queues

【讨论】：