安全集群中的 Hadoop 用户添加答案

【问题标题】：Hadoop User Addition in Secured Cluster安全集群中的 Hadoop 用户添加
【发布时间】：2017-06-20 01:24:55
【问题描述】：

我们使用的是 kerborized CDH 集群。在将用户添加到集群时，我们过去只将用户添加到网关/边缘节点，就像在任何 hadoop 发行版集群中一样。但是使用新添加的用户 ID，我们无法执行 map-reduce/yarn 作业并抛出“未找到用户”异常。

当我研究这个时，我遇到了一个链接https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-site/SecureContainer.html，它说要在安全集群中执行纱线作业，我们可能需要在所有节点中都有相应的用户，因为安全容器在凭据下执行的工作用户。

因此，我们将相应的用户 ID 添加到所有节点并且作业正在执行。如果是这种情况，并且集群有大约 100 多个节点，那么为每个用户 ID 配置用户将成为一项乏味的工作。

如果您在项目实施中遇到相同的情况，任何人都可以提出任何其他有效的方法吗？

【问题讨论】：

【解决方案1】：

有几种按难度排序的方法（从简单到痛苦）。

一个是拥有一个每个人都用来运行作业的作业运行器用户。

另一种方法是使用配置管理工具定期（1 小时 - 1 天）在集群上同步 /etc/passwd 和 /etc/group（chef、puppet）或使用 cron 作业来执行此操作。

否则，您可以购买或使用开源 Linux/UNIX 用户映射服务，例如 Centrify（商业）、VAS（商业）、FreeIPA（免费）或 SSSD（免费）。

如果您有 Active Directory 服务器或 LDAP 服务器，请使用 Hadoop LDAP 用户映射。

参考资料：

【讨论】：