MapReduce 作业停止执行

Question

我想在 Hadoop 集群上运行基于 TeraSort 的基准测试。脚本正在运行，首先它处于运行状态，但几分钟后它卡在Accepted 状态和FinalStatus 未定义。我想，这可能是资源问题，所以我像上面一样修改了yarn-site.xml。

<property>
  <name>yarn.nodemanager.resource.memory-mb</name>
  <value>8192</value>
  <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
</property>

<property>
  <name>yarn.scheduler.minimum-allocation-mb</name>
  <value>2048</value>
</property>

又是同样的问题。您还可以看到上面有关此过程的一些图表。当作业的进度条显示在 ~9-15 % 时，它会停止。

Answer 1

请也验证为这些参数设置的值：

yarn.scheduler.maximum-allocation-mb、mapreduce.map.memory.mb、mapreduce.map.java.opts、mapreduce.reduce.memory.mb、mapreduce.reduce.java.opts

以 yarn.scheduler.minimum-allocation-mb 开始，为 512MB。这将有助于调度程序以较小的增量为任务分配内存。

更新 1： 这个链接将有助于理解一些事情： https://www.mapr.com/blog/best-practices-yarn-resource-management

此外，根据您的环境设置输入拆分大小。 为了获得最佳读取性能，您的输入拆分大小和块大小应该相同。