【问题标题】:Running oozie in local mode gives error在本地模式下运行 oozie 会出错
【发布时间】:2017-06-05 09:01:50
【问题描述】:

我正在尝试使用以下 xml 运行 oozie 作业。但是操作失败并出现错误:

主类[org.apache.oozie.action.hadoop.SparkMain],退出码[101]

在分析日志时,我观察到错误是由于 java.lang.ClassNotFoundException: Mainclass。但是 Mainclass 存在于 hdfs 位置的 jar 中。 jar 在下面的 xml 中指定。这是我的代码:

<action name="action1" cred="hive_credentials">
                <spark xmlns="uri:oozie:spark-action:0.2">
                        <job-tracker>${jobTracker}</job-tracker>
                        <name-node>${nameNode}</name-node>
                        <master>local[*]</master>
                        <name>name</name>
                        <class>Mainclass</class>
                        <jar>${jar1}</jar>
                        <spark-opts>
                                --files hive-site.xml --conf spark.yarn.security.tokens.hive.enabled=false
                        </spark-opts>
                        <arg>arg1</arg>
                        <file>${nameNode}/test/${wf:user()}/hive-site.xml</file>
                </spark>
                <ok to="end" />
                <error to="kill_job" />
        </action>

可能是什么问题?

【问题讨论】:

    标签: hadoop oozie


    【解决方案1】:

    我解决了这个问题,

    1) 在工作流 xml 旁边直接创建一个“lib”文件夹

    2) 将 Mainclass jar 复制到 lib 文件夹

    3) 仅在标签中指定 jar 名称而不是完全限定的 hdfs 路径

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-03-19
      • 1970-01-01
      • 1970-01-01
      • 2018-02-02
      • 1970-01-01
      相关资源
      最近更新 更多