【问题标题】:How to find hadoop applications ran by oozie (hadoop) job如何找到由 oozie (hadoop) 作业运行的 hadoop 应用程序
【发布时间】:2019-05-23 10:52:59
【问题描述】:

我们知道首先 oozie 运行一个 hadoop 作业,并使用该作业运行其他 hadoop 应用程序。因此,我想找到由 oozie (hadoop) 作业运行的那些 hadoop 应用程序(例如 application_231232133)的列表。目前没有这样的api或命令。

【问题讨论】:

    标签: hadoop hadoop-yarn oozie oozie-coordinator oozie-workflow


    【解决方案1】:

    如果您使用的是 Oozie 5.0 或更高版本,那么这些作业的应用程序类型是“Oozie Launcher”,而不是“MapReduce”,因此它们很容易被过滤掉。

    【讨论】:

      【解决方案2】:

      您可以使用 Oozie REST API http://oozie.apache.org/docs/4.2.0/WebServicesAPI.html#Job_Information 为每个由 hadoop 应用程序 ID 填充的操作返回 externalId 属性。

      【讨论】:

        猜你喜欢
        • 2017-07-17
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2012-12-10
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        相关资源
        最近更新 更多