如何在 EMR 集群中运行/安装 oozie答案

【问题标题】：how to run/install oozie in EMR cluster如何在 EMR 集群中运行/安装 oozie
【发布时间】：2016-08-27 03:50:21
【问题描述】：

我想编排我的 EMR 作业。所以我认为oozie会很合适。我在 oozie 工作流程上做了一些 POC，但在本地模式下，它相当简单而且很棒。

但我不明白如何在 EMR 集群上使用 oozie。根据一些搜索，我知道 aws 不附带 oozie，因此我们已将其显式安装为引导操作。大多数人指向这个链接 https://github.com/lila/emr-oozie-sample

但由于我是 aws(EMR) 的新手，我仍然对如何使用它感到困惑。太好了，如果有人可以为我简化它提供一些步骤或其他东西。

谢谢

【问题讨论】：

【解决方案1】：

我有一些问题，我将其发布到 AWS 技术支持并得到以下答复。我试过了，Oozie 已全部安装并运行，无需额外的努力。

要在 EMR 集群上安装 Oozie，您需要安装 Hue。原因是目前 EMR 上的 Oozie 是作为 Hue 的依赖项安装的。根据http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html，AMI 3.3.0 和 3.3.1 支持 Hue。启动安装了 Hue -> http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hue.html 的 EMR 集群后，您应该可以立即使用 Oozie，因为它已经配置并启动了。

【讨论】：

【解决方案2】：

EMR 4.x 和 5.x 系列版本现在随附 Oozie 作为可选应用程序。 AWS 大数据博客上最近也有一篇博文概述了如何开始使用它：

【讨论】：

【解决方案3】：

那个 github 项目也安装了 Oozie，所以你不需要照顾它。 Oozie 安装的配置在下一个链接：

之后，您可以从命令 shell 执行一些任务：创造： SSH： SSH代理：袜子代理：

因此，如果您按照他的说明进行操作，您只需运行其中一些任务，即可使用 Oozie 创建和执行 EMR 任务。

【讨论】：

【解决方案4】：

对于那些感兴趣的人，我已经克隆了 repo 并更新了 Oozie 安装程序脚本以支持 Hadoop 2.4.0 和 Oozie 4.0.1

【讨论】：

【解决方案5】：

首先，这不是这个问题的直接答案。

EMR 与 Data Pipeline 集成 - Amazon 自己的调度程序和数据工作流编排器。 Amazon 希望您将 Data Pipeline 与 EMR 结合使用。它可以创建、启动和终止 EMR 集群，管理集群生命周期等。评估它是否更适合您的需求。..

【讨论】：