【问题标题】:Get application id of spawned oozie job获取生成的 oozie 作业的应用程序 ID
【发布时间】:2016-12-03 00:37:09
【问题描述】:

当 oozie 启动器生成另一个 hadoop 作业时,是否有任何方法可以获取到该生成的应用程序的应用程序 ID,甚至更好的资源管理器链接? oozie 启动器似乎只知道自己的 id。

这是一个 Spark 动作。

【问题讨论】:

  • 您使用的 Oozie 版本是什么?
  • "is there any way" -- 你的意思是,就像等待 Action 终止,然后检索该 Action 的 YARN 应用 ID,然后提取 YARN 日志该应用 ID,然后解析日志以检索 Spark 驱动程序报告的任何应用 ID?

标签: oozie oozie-coordinator


【解决方案1】:

您可以使用以下内置的 oozie EL 函数来获取应用程序 ID。

wf:actionExternalId(String node)

有关可用 EL 函数的更多详细信息,请点击此处:http://oozie.apache.org/docs/3.3.0/WorkflowFunctionalSpec.html#a4.2_Expression_Language_Functions

【讨论】:

  • 不幸的是,externalId 字段包含 Oozie 用于轮询实际 spark 应用程序状态的 MR 作业的 id。它不包含火花动作本身的applicationId
猜你喜欢
  • 1970-01-01
  • 2014-06-15
  • 1970-01-01
  • 1970-01-01
  • 2020-06-05
  • 2019-05-23
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多