为什么 hadoop yarn mapreduce 卡住或挂在正在运行的作业状态？答案

【问题标题】：Why hadoop yarn mapreduce stuck or hanging on running job state?为什么 hadoop yarn mapreduce 卡住或挂在正在运行的作业状态？
【发布时间】：2015-04-05 07:02:47
【问题描述】：

我有一个 wordcount 示例 mapreduce 作业，我使用 YARN 模式运行它。但是为什么我的 mapreduce 作业在运行作业步骤时停止而不继续？是这样的：

15/04/04 17:18:21 INFO impl.YarnClientImpl: Submitted application application_1428142358448_0002
15/04/04 17:18:21 INFO mapreduce.Job: The url to track the job: http://master:8088/proxy/application_1428142358448_0002/
15/04/04 17:18:21 INFO mapreduce.Job: Running job: job_1428142358448_0002

我尝试在 yarn-site.xml 和 mapred-site.xml 中进行调整，但没有任何反应。那仍然是那个状态。这是关于内存或我的错误配置。

我需要你的建议...谢谢

【问题讨论】：

节点上运行着什么样的服务？对我来说，主服务器上缺少 JobHistory

标签： hadoop mapreduce jobs freeze hadoop-yarn

【解决方案1】：

我遇到了同样的情况。我的 wordcount 程序卡在正在运行的作业：job_xxxxxxxxxx。我所做的是我重新启动系统并再次尝试它并且它工作。我在 oracle 虚拟机上使用 ubuntu。希望对你有帮助

【讨论】：

【解决方案2】：

在资源管理器端口中检查作业的状态。默认情况下，8088 是资源管理器可用的端口号。您应该能够看到作业的状态和作业历史等。

【讨论】：

感谢之前...在网页中：8088，它说 state=accepted，finalstatus=undefined 和 tracking url=undefined。但它仍然卡住，无法继续。是因为记忆吗？非常感谢...
肯定有问题，我不确定未定义的状态，您可以重新启动所有守护程序并再次运行作业吗？
我已经做过很多次了，但结果还是一样的哈哈哈。这很奇怪，因为过去我可以这样做，而且根本没有挂起。我确定我的配置没有错，你认为这是我的电脑造成的吗？谢谢....

【解决方案3】：

你应该检查 yarn-site.xml 的内容文件中，如果 yarn.node.manager.aux-service 的值包含'.'等无效字符这份工作不工作。

<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce.shuffle</value>
</property>

如果值包含这样的字符，你应该替换字符'_'，然后堆叠作业正在工作。

【讨论】：