Apache Knox Gateway 是否与 Cloudera 4.5 兼容？答案

【问题标题】：Is Apache Knox Gateway compatible with Cloudera 4.5?Apache Knox Gateway 是否与 Cloudera 4.5 兼容？
【发布时间】：2014-10-26 19:51:16
【问题描述】：

我目前正在开发一个带有 Hadoop 集群的未来项目。我需要查找有关集群安全性的信息。

我找到了我们需要的 API Apache Knox Gateway。我们现在使用 Cloudera 4.5。未来，我们将升级到 Cloudera 5。

我的问题是 Knox 似乎与 Cloudera 4.5 (http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_3.html) 不兼容。

WebHDFS                   2.4.0 
WebHCat/Templeton         0.13.0    0.12.0  
Ozzie                     4.0.0
HBase/Stargate            0.98.0
Hive (via WebHCat)        0.13.0
Hive (via JDBC)           0.13.0

(http://knox.apache.org/books/knox-0-4-0/knox-0-4-0.html#Quick+Start)

根据网站，这是唯一经过测试的版本。有没有人有这个 API 和 Cloudera 4.5 的经验？

如果它不能工作，是否有任何解决方案来确保集群安全？

【问题讨论】：

关于 CDH（现在是 5.3）和 Apache Knox 兼容性的任何消息？

标签： apache security hadoop cloudera knox-amazon-s3-client

【解决方案1】：

首先，Apache Knox 是一种在集群外围为 REST API 访问提供安全性的方法。如果确实需要，它不能替代 Hadoop 集群中的 kerberos 安全性。它还通过将 REST API 的范围扩展到企业来继续补充启用了 kerberos 的集群。它还为最终用户访问提供了一些额外的身份解决方案集成。

如果您想要的是真正的 Hadoop 安全性，那么您需要查看 Hadoop kerberos 部署选项。

现在，关于 knox/CDH 的兼容性...

不幸的是，Knox 0.4.0 支持的服务组件版本不能很好地映射到 CDH 4.5 版本。看起来即使是 0.3.0 版本也比 CDH 4.5 更新。

虽然 HBase 仍然落后，但 CDH 5.0 似乎排列得更好。从我所看到的here - 我只能假设这是准确的。

我的建议是尝试针对 CDH 5 使用 Apache Knox，并让 knox 社区遇到任何困难 - 可能会有我们可以提供帮助的变通方法。根据您的 REST 需求 - 可能有足够的一致性来满足您的需求。

【讨论】：