使用 Yarn Cluster 在 Spark 中提交作业答案

【问题标题】：Submit Job in Spark using Yarn Cluster使用 Yarn Cluster 在 Spark 中提交作业
【发布时间】：2015-01-21 11:22:42
【问题描述】：

我无法在纱线集群中提交作业。作业在yarn-client 选项下运行良好。当提交给yarn-cluster 时，只有这个日志会出现多次。

Application report for application_1421828570504_0002 (state: ACCEPTED)

并因以下异常而失败。

diagnostics: Application application_1421828570504_0002 failed 10 times due to AM Container for app
attempt_1421828570504_0002_000010 exited with  exitCode: 1 due to: Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 
org.apache.hadoop.util.Shell$ExitCodeException:

【问题讨论】：

欢迎您！据我了解，异常告诉您某些东西以非零退出代码退出。除非你很幸运并且有人提出了一个很好的猜测，否则我认为你需要查看日志并找出什么失败并希望还有 为什么。

标签： hadoop apache-spark

【解决方案1】：

您应该查看应用程序的日志：

> yarn logs --applicationId application_1421828570504_0002

这将产生火花容器中实际运行的一些调试信息。由于它在本地运行但不在集群上，我的猜测是缺少 SparkContext 定义。看看我的answer to this question 进行修复。

【讨论】：