Hortonworks Oozie Spark 动作

Question

有没有人通过 Oozie 在 HDP 中成功运行 Spark 操作？

我正在使用 Oozie 4.2.0 在 HDP 2.3.2 上运行。火花动作设置为在纱线集群模式下运行。 spark 作业是一个虚拟作业，没有输入文件。

我首先遇到了here 的错误，并通过从 hdfs oozie spark lib 文件夹中删除以下内容（在我的情况下为：/user/oozie/share/lib/lib_20151116201309/spark/）设法绕过它：

• tachyon-0.5.0.jar
• tachyon-client-0.5.0.jar（都是因为this错误）
• spark-core_2.10-1.1.0.jar
• spark-graphx_2.10-1.1.0.jar
• spark-streaming_2.10-1.1.0.jar

并在工作流库文件夹中添加以下内容：

• datanucleus-api-jdo-3.2.6.jar
• datanucleus-core-3.2.10.jar
• datanucleus-rdbms-3.2.9.jar
• spark-1.4.1.2.3.2.0-2950-yarn-shuffle.jar
• spark-assembly-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar
• spark-examples-1.4.1.2.3.2.0-2950-hadoop2.7.1.2.3.2.0-2950.jar

现在我遇到以下错误：

失败的 Oozie 启动器，主类 [org.apache.oozie.action.hadoop.SparkMain]，main() 抛出异常，从 hdp4/10.10.1.84 调用到 0.0.0.0:8032 连接异常失败：java.net .ConnectException：连接被拒绝；更多详情请见：http://wiki.apache.org/hadoop/ConnectionRefused java.net.ConnectException：从 hdp4/10.10.1.84 到 0.0.0.0:8032 的调用因连接异常而失败：java.net.ConnectException：连接被拒绝；更多详情见：http://wiki.apache.org/hadoop/ConnectionRefused

我提到：

• 在 job.properties 文件和 yarn 配置文件中，作业跟踪器/资源管理器端口都设置为 8032
• 应用程序运行了大约 20 分钟（我运行了多次并观察到了这个时间）

Answer 1

以下是我为使 SparkAction 在 HDP 2.3.4 上运行而执行的步骤。

1. 备份Oozie sharelib spark文件夹并删除里面除了oozie-sharelib-<spark-version>.jar之外的所有jar。就我而言，我只是将 spark 文件夹重命名为 spark-backup 并创建了一个新的 spark 文件夹，然后复制了我提到的 jar。
2. 将所有 jar 从 $SPARK_HOME/lib 复制到 Oozie sharelib spark 文件夹。
3. 重启 Oozie
4. 通过 Ambari 将 yarn.resourcemanager.address 更改为 <myhost>:8032
5. 重新启动 YARN

我之前或多或少遇到过同样的问题，所以我在 Hortonworks 社区上发布了这个 question，这帮助我最终让它发挥作用。