使用 Spark on YARN 构建 Oozie 4.2.0答案

【问题标题】：Building Oozie 4.2.0 with Spark on YARN support使用 Spark on YARN 构建 Oozie 4.2.0
【发布时间】：2016-01-29 09:09:30
【问题描述】：

我想要实现的是构建和安装 Oozie 4.2.0，这将使我能够将 Spark 作业提交到 YARN 集群。

我通过执行：oozie-4.2.0/bin/mkdistro.sh -Puber -Phadoop-2 -DskipTests 来构建发行版。这创建了oozie-4.2.0-distro.tar.gz 包，在里面我可以找到oozie-4.2.0-sharelib.tar.gz。但是，许多在线教程指出我应该使用 oozie-4.2.0-sharelib-yarn.tar.gz 才能使用 YARN。发行包中不包含此类文件。 如何让构建过程输出 YARN 版本的 sharelibs？

我尝试继续使用非 YARN 版本，但是在提交示例 Spark 作业时（并将 job.properties 中的 HDFS 和 YARN 地址以及主属性从 local[*] 调整为 yarn）我收到了错误：

错误：无法加载 YARN 类。 Spark的这个副本可能没有已在 YARN 支持下编译。

【问题讨论】：

一个有趣的问题，但由于几个小问题的结合，我投票决定关闭，因为它无法重现：没有明确提到使用了哪些资源（指南、spark 版本、oozie 分发的来源）。除此之外，oozie 已经超出了列出的版本。

标签： hadoop apache-spark hadoop-yarn oozie

【解决方案1】：

Oozie 4.2 不包含OOZIE-2271，它在针对 hadoop-2 配置文件进行编译时将 spark_yarn 依赖项添加到了 sharelib。尝试使用 Oozie 4.3 构建发行版。或者，您可以尝试向后移植 OOZIE-2271 并自己构建 Oozie。

请参阅此提交中的 spark-yarn_2.10： https://github.com/apache/oozie/commit/e6b5c95efb492a70087377db45524e06f803459e

【讨论】：