无法摆脱著名的 DataStreamer 异常：org.apache.hadoop.ipc.RemoteException：错误

Question

我正在运行 hadoop 集群，Ubuntu 主机作为主从，虚拟机在其上作为另一个从属（2 节点集群）运行。

似乎应该在No data nodes are started 解决的问题的解决方案对我不起作用。我尝试了那里解释的两种解决方案。

似乎当我手动将受影响数据节点的命名空间 id 等同于名称节点时 并启动集群（链接帖子中的解决方案 2）我仍然得到相同的错误（DataStreamer 异常）。 接下来，其中一个数据节点的日志显示了相同的 Incompatible namespaceIDs 错误，但日志中显示的数据节点的命名空间 id 与我的 tmp/dfs/data/current/version 文件（未更改且与 tmp/dfs/name/current/version 相同）

经过几个小时的调试，我仍然一无所知:(。

PS：

• 我的主机到从机没有连接问题

• 当我使用 start-dfs.sh 启动集群时，两个节点上的数据节点都会启动，这很正常。

• 我在将文件从本地复制到 hdfs 时遇到此错误。

我做了一个简单的测试

• 删除了 master 上的 tmp/dfs/data 和 tmp/dfs/name 文件夹
• 已删除从属设备上的 tmp/dfs/数据
• 使用 hadoop namenode -format 格式化 namenode
• 使用 start-dfs 启动了集群。所有节点
• 它在master上正常启动，datanode也在slave上运行
• 现在运行 copyfromLocal 命令，它给了我 与以下相同的错误
• 但是这次在任何datanode日志master或slave中都没有命名空间不匹配错误

14/05/04 04:12:54 警告 hdfs.DFSClient：DataStreamer 异常： org.apache.hadoop.ipc.RemoteException：java.io.IOException：文件 /user/dsingh/mysample 只能复制到 0 个节点，而不是 1 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920) 在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) 在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

在 org.apache.hadoop.ipc.Client.call(Client.java:1113) 在 org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 在 com.sun.proxy.$Proxy1.addBlock(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85) 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62) 在 com.sun.proxy.$Proxy1.addBlock(Unknown Source) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)

14/05/04 04:12:54 WARN hdfs.DFSClient: null bad 的错误恢复 datanode[0] 节点 == null 14/05/04 04:12:54 警告 hdfs.DFSClient: 可以 没有获得块位置。源文件“/user/dsingh/mysample” - 中止... put: java.io.IOException: File /user/dsingh/mysample 可以 仅复制到 0 个节点，而不是 1 14/05/04 04:12:54 错误 hdfs.DFSClient：无法关闭文件 /user/dsingh/mysample org.apache.hadoop.ipc.RemoteException：java.io.IOException：文件 /user/dsingh/mysample 只能复制到 0 个节点，而不是 1 在 org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1920) 在 org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:783) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.ipc.RPC$Server.call(RPC.java:587) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1432) 在 org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1428) 在 java.security.AccessController.doPrivileged(Native Method) 在 javax.security.auth.Subject.doAs(Subject.java:415) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1190) 在 org.apache.hadoop.ipc.Server$Handler.run(Server.java:1426)

在 org.apache.hadoop.ipc.Client.call(Client.java:1113) 在 org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 在 com.sun.proxy.$Proxy1.addBlock(Unknown Source) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85) 在 org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:62) 在 com.sun.proxy.$Proxy1.addBlock(Unknown Source) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.locateFollowingBlock(DFSClient.java:3720) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.nextBlockOutputStream(DFSClient.java:3580) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.access$2600(DFSClient.java:2783) 在 org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:3023)

任何线索都会帮助我。

Answer 1

在这个问题上工作了几个小时。我终于放弃了，在我的知识世界中仍然没有解决。]

但好消息是，我没有在同一台机器上使用虚拟机作为从机，而是将另一台 ubuntu 机器与我的主机连接，并且每件事都像魅力一样工作：) 在我的情况下，我猜这个问题可能与虚拟机中存储的有限虚拟内存分配（小于 500Mb）有关，并且我在某处读到集群中的每个节点应该有至少 10 GB 的可用空间以保持 HDFS 快乐.

如果可能的话，我的建议是在 2 台不同的机器上尝试 hadoop 集群，而不是在同一主机上使用虚拟机

Answer 2

在您执行 -copyFromLocal 之后，Datanode 似乎已准备好获取写入文件的请求。但是，它无法分配文件所需的块。请检查 Datanode 日志以了解究竟发生了什么。此外，运行“hdfs dfsadmin -report”以确保 Datanode 上有足够的空间。

Answer 3

我也遇到过同样的问题。这都是关于专用于 hdfs 的空间不足的问题。 我有 10 个虚拟机 (vmware) 节点，平均为 hdfs 存储 3.5 GB。我使用的是 hadoop 2.6。

您可以通过“_hadoop_location/etc/hadoop/hdfs-site.xml”（对于 hadoop 2.6）配置文件的“dfs.replication”属性值来减少复制次数。您可以减少到较小的数量（例如1 或 2）然后尝试使文件小于您的总空间。

如果显示同样的问题，请尝试比上次使用的文件大小更小，或者重新创建具有更大磁盘大小的机器。

可能会迟到，但它可能会帮助遇到同样问题的其他人:) 谢谢。