使用 Jdk8 在 Yarn 上创建 Spark答案

【问题标题】：Spark on Yarn with Jdk8使用 Jdk8 在 Yarn 上创建 Spark
【发布时间】：2015-07-03 22:56:04
【问题描述】：

我正在 hadoop yarn 上运行 spark 作业（hadoop 2.7.0，但也尝试了 2.4.0，所有这些都在我的盒子上使用从 apache-hadoop 网站和 spark 1.3.1 下载的内容）。我的 spark 工作在 scala 中，但包含用 jdk8 编译的类。

当我在 jdk8 上运行 hadoop 时，我得到了

INFO yarn.Client: 
 client token: N/A
 diagnostics: Shutdown hook called before final status was reported.
 ApplicationMaster host: kostas-pc
 ApplicationMaster RPC port: 0
 queue: default
 start time: 1431513335001
 final status: SUCCEEDED

即使作业被标记为成功，由于“在报告最终状态之前调用了关闭挂钩”，它实际上并没有做任何事情。事实上，从我的 spark 作业中看不到任何日志记录。

当我将运行 hadoop 的 jdk 切换到 jdk7 时，我的作业开始运行，并且我可以从我的 scala 代码中看到日志条目，但是当它到达使用 jdk8 编译的代码时，它会因不兼容的类错误而失败（正如预期的那样)。

所以看起来用 jdk8 运行 hadoop+spark 是不兼容的。有什么解决办法吗？

谢谢

【问题讨论】：

标签： hadoop apache-spark java-8 hadoop-yarn

【解决方案1】：

似乎 spark 1.4.0 可以使用 jdk8

【讨论】：