Azure oozie 工作流答案

【问题标题】：Azure oozie workflowAzure oozie 工作流
【发布时间】：2016-10-05 05:01:29
【问题描述】：

我正在尝试在 azurehdinsight 集群上运行 oozie 工作流，作业定义如下所示：

<workflow-app xmlns="uri:oozie:workflow:0.2" name="oozie-sqoop">
  <start to="sqoop1" />
  <action name="sqoop1">
    <sqoop xmlns="uri:oozie:sqoop-action:0.4">
      <job-tracker>jobtrackerhost:9010</job-tracker>
      <name-node>wasb://abc@def.blob.core.windows.net</name-node>
      <configuration>
        <property>
          <name>mapred.job.queue.name</name>
          <value>default</value>
        </property>
      </configuration>
      <arg>import</arg>
      <arg>--connect</arg>
      <arg>jdbc:mysql://{ip}/svnadmin</arg>
      <arg>--username</arg>
      <arg>uname</arg>
      <arg>--password</arg>
      <arg>password</arg>
      <arg>--table</arg>
      <arg>rights</arg>
      <arg>--hive-import</arg>
    </sqoop>
    <ok to="end" />
    <error to="fail" />
  </action>
  <kill name="fail">
    <message>sqoop failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
  </kill>
  <end name="end" />
</workflow-app>

日志：

2016-10-04 06:16:06,816  INFO ActionStartXCommand:520 - SERVER[hn0-saint.3oitbdwtly0uzabcmledackovts0a.bx.internal.cloudapp.net] USER[saint] GROUP[-] TOKEN[] APP[oozie-sqoop] JOB[0000015-160928235712742-oozie-oozi-W] ACTION[0000015-160928235712742-oozie-oozi-W@:start:] Start action [0000015-160928235712742-oozie-oozi-W@:start:] with user-retry state : userRetryCount [0], userRetryMax [0], userRetryInterval [10]
2016-10-04 06:16:06,827  INFO ActionStartXCommand:520 - SERVER[hn0-saint.3oitbdwtly0uzmledackovts0a.bx.internal.cloudapp.net] USER[saint] GROUP[-] TOKEN[] APP[oozie-sqoop] JOB[0000015-160928235712742-oozie-oozi-W] ACTION[0000015-160928235712742-oozie-oozi-W@:start:] [***0000015-160928235712742-oozie-oozi-W@:start:***]Action status=DONE
2016-10-04 06:16:06,828  INFO ActionStartXCommand:520 - SERVER[hn0-saint.3oitbdwtly0uzmleklasackovts0a.bx.internal.cloudapp.net] USER[saint] GROUP[-] TOKEN[] APP[oozie-sqoop] JOB[0000015-160928235712742-oozie-oozi-W] ACTION[0000015-160928235712742-oozie-oozi-W@:start:] [***0000015-160928235712742-oozie-oozi-W@:start:***]Action updated in DB!
2016-10-04 06:16:07,508  INFO WorkflowNotificationXCommand:520 - SERVER[hn0-saint.3oitbdxbtly0uzmledackovts0a.bx.internal.cloudapp.net] USER[-] GROUP[-] TOKEN[-] APP[-] JOB[0000015-160928235712742-oozie-oozi-W] ACTION[] No Notification URL is defined. Therefore nothing to notify for job 0000015-160928235712742-oozie-oozi-W

但它没有向 hive 导入任何东西。当我使用 sqoop 命令尝试相同的操作时，它成功并成功导入到 hive。它总是显示状态为正在运行，它永远不会改变任何东西

【问题讨论】：

你能看看这个吗：stackoverflow.com/questions/27740936/…
感谢您为回答这个问题付出的努力和时间。在那篇文章中所有的价值观；我的意思是jobtracker url，全部替换为表达式；就我而言，我坚信工作跟踪器 url 中有一些错误，或者可能在 name-node 中。我用 cloudera 测试过同样的工作，它可以工作；

标签： azure hadoop sqoop oozie azure-hdinsight

【解决方案1】：

看起来您的 WASB 路径错误，不确定您是否出于发布目的而更改了它。

我认为应该如下。

<name-node>wasbs://abc@def.blob.core.windows.net</name-node>

您缺少s，请检查。

【讨论】：