无法使用 Oozie 部署 Spark 作业答案

【问题标题】：Unable to deploy Spark jobs using Oozie无法使用 Oozie 部署 Spark 作业
【发布时间】：2016-11-15 21:48:07
【问题描述】：

我需要保持 Spark 作业 24/7 全天候运行，为此我正在使用 Oozie。为此，我编写了一个 workflow.xml 和 job.properties 文件，其中包含调用它所需的信息。

但是，当我尝试使用以下方式发送 oozie 作业时：

oozie job –config /home/oozie/tst/job.properties -run

我收到如下错误信息，很清楚：

java.io.IOException: configuration is not specified
        at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816)
        at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055)
        at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686)
        at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639)
        at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225)
configuration is not specified

这里的问题是配置文件（job.properties）在本地指定的路径上存在。我还 PUT 在 HDFS 中包含文件和 .jar 的目录。

知道为什么会失败吗？

Oozie 是我完成这项任务的最佳工具吗？

【问题讨论】：

标签： hadoop apache-spark oozie

【解决方案1】：

config 参数采用本地路径而不是 HDFS。检查/home/oozie/tst/job.properties中存在的job.properties

检查 job.properties 是否包含oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT

另外我看到配置参数中给出的破折号（-）与运行参数中的破折号（-）不同

【讨论】：

1- 是的，文件存在本地，路径也是本地的。 2- 这存在于我的job.properties 文件中，带有 HDFS 路径。
事实上这就是问题所在。我很震惊。非常感谢您的鹰眼。

【解决方案2】：

在命令中指定主机

oozie job --oozie http://your_host:11000/oozie -config /home/oozie/tst/job.properties -run

11000 是默认端口

【讨论】：

我已经尝试过了，输出相同：[oozie@hdpgw01 tst]$ oozie job -oozie hdpgw01:11000/oozie –config /home/oozie/tst/job.properties -submit java.io.IOException: configuration is not specified at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816) at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:981) at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686) at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639) at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225) configuration is not specified