Hadoop NFS 无法启动 Hadoop NFS 网关答案

【问题标题】：Hadoop NFS unable to start the Hadoop NFS gatewayHadoop NFS 无法启动 Hadoop NFS 网关
【发布时间】：2014-05-22 16:16:20
【问题描述】：

我正在尝试在 Hadoop 集群上安装 NFS 网关。不幸的是，我无法启动 nfs 网关并出现以下错误。

我还尝试通过修改 log4j 文件以包含“调试”信息来添加更多调试信息。 Log4j 文件似乎不会影响输出。所以我还需要知道如何提高日志记录级别。

    ************************************************************/
14/05/22 10:59:43 INFO nfs3.Nfs3Base: registered UNIX signal handlers for [TERM, HUP, INT]
Exception in thread "main" java.lang.IllegalArgumentException: value already present: sshd
        at com.google.common.base.Preconditions.checkArgument(Preconditions.java:115)
        at com.google.common.collect.AbstractBiMap.putInBothMaps(AbstractBiMap.java:112)
       at com.google.common.collect.AbstractBiMap.put(AbstractBiMap.java:96)
        at com.google.common.collect.HashBiMap.put(HashBiMap.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMapInternal(IdUserGroup.java:85)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.updateMaps(IdUserGroup.java:110)
        at org.apache.hadoop.nfs.nfs3.IdUserGroup.<init>(IdUserGroup.java:54)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:172)
        at org.apache.hadoop.hdfs.nfs.nfs3.RpcProgramNfs3.<init>(RpcProgramNfs3.java:164)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.<init>(Nfs3.java:41)
        at org.apache.hadoop.hdfs.nfs.nfs3.Nfs3.main(Nfs3.java:52)
14/05/22 10:59:45 INFO nfs3.Nfs3Base: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down Nfs3 at
************************************************************/

我怀疑它与以下问题https://issues.apache.org/jira/browse/HDFS-5587有关，但是我从这个问题中不明白我需要采取什么措施。

【问题讨论】：

标签： hadoop hdfs nfs

【解决方案1】：

这记录在以下票证中，解决方法如下： https://issues.apache.org/jira/browse/HDFS-5587

我的问题是 sshd 和一些其他用户同时存在于 ldap 和本地框中，但 UID 不匹配。

NFS 网关不能以主机系统上的重复名称或 ID 开头。这是因为 HDFS（非 kerberos 集群）使用名称作为唯一方式识别用户或组。具有重复的主机系统用户/组名称或 id 可能在大多数情况下都可以正常工作。然而，当 NFS 网关与 HDFS 对话时，HDFS 只接受用户和组的名字。因此，同名意味着同一个用户或同一个组。到找到重复的名称/ID，可以做到：在 Linux 系统和 MacOS 上。

【讨论】：