运行我的 spark 作业时，我收到此错误：id: <app-name>: No such user

【问题标题】：When running my spark job, I get this error: id: <app-name>: No such user运行我的 spark 作业时，我收到此错误：id: <app-name>: No such user
【发布时间】：2017-09-01 07:25:56
【问题描述】：

我有一个简单的 spark 应用程序，当我部署时，我似乎总是收到一个非致命的 hadoop 错误，如下所示：

17/09/01 14:13:41 WARN security.ShellBasedUnixGroupsMapping: unable to return groups for user my-username
PartialGroupNameException The user name 'my-username' is not found. id: my-username: No such user
id: my-username: No such user 
    at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.resolvePartialGroupNames(ShellBasedUnixGroupsMapping.java:212)
    at org.apache.hadoop.security.ShellBasedUnixGroupsMapping.getUnixGroups(ShellBasedUnixGroupsMapping.java:133)

谁能指出这个错误出现在 Spark 日志中的原因？对此的任何见解都会有所帮助。谢谢！

【问题讨论】：

标签： hadoop apache-spark hue

【解决方案1】：

您很可能已经阅读了我会给您的链接，但无论如何：

Error on a cluster

Same error with CLoudera

这个问题的发生是因为完成任务的用户的组 ID 无法被 hadoop 集群识别。由于 Maprecue 不断检查和抱怨这个问题，集群性能变慢了。

修复：

在主机上的 /etc/group 中为该用户添加组名和用户 ID 作业提交的位置。

提出的另一种解决方案：

用户和组都需要存在于 NameNode 主机上操作系统：

sudo useradd my-username
sudo usermod -G developer my-username

如果您不希望用户能够登录到 NameNode：
sudo usermod -s /bin/falso my-username
或

sudo usermod -s /usr/bin/nologin my-username

不知道能不能帮到你，希望能，但我不这么认为！

祝你有美好的一天！

【讨论】：