如何在 oozie 工作流程中获取 oozie jobId？答案

【问题标题】：How to get oozie jobId in oozie workflow?如何在 oozie 工作流程中获取 oozie jobId？
【发布时间】：2016-01-11 08:19:12
【问题描述】：

我有一个将调用 shell 文件的 oozie 工作流，Shell 文件将进一步调用 mapreduce 作业的驱动程序类。现在我想将我的 oozie jobId 映射到 Mapreduce jobId 以供以后处理。有什么方法可以在工作流文件中获取 oozie jobId，以便我可以将与参数相同的参数传递给我的驱动程序类进行映射。

以下是我的示例 workflow.xml 文件

<workflow-app xmlns="uri:oozie:workflow:0.4" name="test">
<start to="start-test" />
<action name='start-test'>
    <shell xmlns="uri:oozie:shell-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <configuration>
            <property>
                <name>mapred.job.queue.name</name>
                <value>${queueName}</value>
            </property>
        </configuration>
        <exec>${jobScript}</exec>
        <argument>${fileLocation}</argument>
        <argument>${nameNode}</argument>
        <argument>${jobId}</argument> <!-- this is how i wanted to pass oozie jobId --> 
        <file>${jobScriptWithPath}#${jobScript}</file>
    </shell>
    <ok to="end" />
    <error to="kill" />
</action>
<kill name="kill">
    <message>test job failed
        failed:[${wf:errorMessage(wf:lastErrorNode())}]</message>
</kill>
<end name="end" />

以下是我的 shell 脚本。

hadoop jar testProject.jar testProject.MrDriver $1 $2 $3

【问题讨论】：

标签： hadoop mapreduce workflow oozie

【解决方案1】：

Oozie 在运行 shell 的 YARN 容器（“启动器”容器）的 CWD 中放置一个 XML 文件，并设置一个指向该 XML 的 env 变量（虽然记不起名字了） .

该 XML 包含很多内容，例如工作流名称、操作名称、两者的 ID、运行尝试次数等。所以你可以 sed 在 shell 脚本本身中返回该信息。

当然，明确地传递 ID（如 Alexei 所建议的那样）会更简洁，但有时“干净”并不是最好的方法。特别是如果您担心它是否是第一次运行......

【讨论】：

是否可以从该 oozie 工作流运行的程序中检索工作流信息（或 xml 文件）？
感谢您的回复，我尝试检查程序可用的所有 env 变量，但找不到任何有用的东西。但我设法通过调用 oozie cli 并过滤响应来做到这一点。

【解决方案2】：

尝试使用${wf:id()}:

字符串 wf:id()

它返回当前工作流作业的工作流作业 ID。

More info here.

【讨论】：