Giraph 估计的 4096MB 集群堆请求大于当前可用的 0MB 集群堆。中止作业

Question

我在 5 节点集群上使用 Hadoop 2.5.2 运行 Giraph。但是当我尝试运行 SimpleShortestPathsComputation 示例时，我得到了这个错误：

线程“主”java.lang.IllegalStateException 中的异常：Giraph 的 估计 cluster heap 2000MB ask 大于当前 0MB 的可用簇堆。中止作业。

到目前为止，我无法确定 Giraph 认为集群有 0MB 堆的原因。我分别在 yarn-env.sh 和 hadoop-env.sh 中设置了 YARN_HEAPSIZE 和 HADOOP_HEAPSIZE，在 yarn-site.xml 我有：

 <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>8960</value>
  </property>
  <property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>2048</value>
  </property>

知道这是怎么回事吗？

Answer 1

结果证明这是一个环境问题。基本上，发生的情况是这样的：Giraph 向 YARN ResourceManager 询问正在运行的节点列表，并总结列出的节点中可用的堆，然后将其与它自己估计的需要多少堆进行比较。在我的例子中，我的设置中的一个小故障导致 YARN 无法列出任何节点，因此 Giraph 认为集群可以使用 0MB 的堆。

潜在的问题有两个：

1. 我在 EC2 上运行，忘记将端口 8032 添加到安全组，因此节点可以连接到资源管理器。
2. 我忘记设置纱线资源管理器主机名属性，因此节点最初尝试连接到 0.0.0.0。

一旦解决了这两个问题，这个问题就消失了。