Dataproc 无法安装 oozie 软件包答案

【问题标题】：Dataproc failing to install oozie packageDataproc 无法安装 oozie 软件包
【发布时间】：2016-10-14 09:58:26
【问题描述】：

我正在 google cloud dataproc 上尝试以下命令：

apt-get install oozie-client

但 dataproc 未能在存储库中列出 oozie 包。

错误：

root@<master>:#> apt-get install oozie-client
Reading package lists... Done
Building dependency tree
Reading state information... Done
E: Unable to locate package oozie-client

有人知道如何解决这个问题吗？

【问题讨论】：

没有真正回答您的问题，但您是否尝试过 oozie 的预设初始化操作：github.com/GoogleCloudPlatform/dataproc-initialization-actions/…
我尝试了预设的初始化动作。同样的问题，apt-get install oozie 也有同样的问题。
是的，与固定初始化脚本相同的问题，因为在内部它在执行时会查找相同的包。

标签： debian oozie google-cloud-dataproc

【解决方案1】：

这个问题的答案可能是最好的说法这很复杂。

oozie-client 目前不针对 Hive 2 和 Spark 2 进行编译。Cloud Dataproc 的Newer versions 是使用 Spark 2 和 Hive 构建的。因此，此时，oozie-client 被排除在我们的构建中，因为它有点混乱。

不过，它可能适用于 Pig 和 MapReduce。因此，这取决于您的用例。您打算将它与 Pig/MR 或 Hive/或/Spark 一起使用吗？

Apache Airflow 越来越多地与 Cloud Dataproc 一起使用，并且似乎运行良好。当然，也有一些权衡，例如 Airflow 可能最好与集群本身分开，安装可能需要一段时间，并且是一个孵化项目。

（来源 - 我是 Cloud Dataproc PM）

【讨论】：