来自 kafka 的 HDFS 写入：createBlockOutputStream 异常答案

【问题标题】：HDFS write from kafka : createBlockOutputStream Exception来自 kafka 的 HDFS 写入：createBlockOutputStream 异常
【发布时间】：2018-05-23 09:37:19
【问题描述】：

我正在使用来自 docker swarm 的 Hadoop，带有 1 个名称节点和 3 个数据节点（在 3 台物理机器上）。我还使用 kafka 和 kafka connect + hdfs 连接器以 parquet 格式将消息写入 HDFS。

我可以使用 HDFS 客户端 (hdfs put) 将数据写入 HDFS。但是当 kafka 写消息时，它在一开始就可以工作，然后如果失败并出现此错误：

org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/10.0.0.8:50010]
    at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:534)
    at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1533)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1309)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1262)
    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:448)
[2018-05-23 10:30:10,125] INFO Abandoning BP-468254989-172.17.0.2-1527063205150:blk_1073741825_1001 (org.apache.hadoop.hdfs.DFSClient:1265)
[2018-05-23 10:30:10,148] INFO Excluding datanode DatanodeInfoWithStorage[10.0.0.8:50010,DS-cd1c0b17-bebb-4379-a5e8-5de7ff7a7064,DISK] (org.apache.hadoop.hdfs.DFSClient:1269)
[2018-05-23 10:31:10,203] INFO Exception in createBlockOutputStream (org.apache.hadoop.hdfs.DFSClient:1368)
org.apache.hadoop.net.ConnectTimeoutException: 60000 millis timeout while waiting for channel to be ready for connect. ch : java.nio.channels.SocketChannel[connection-pending remote=/10.0.0.9:50010]
        at org.apache.hadoop.net.NetUtils.connect(NetUtils.java:534)
        at org.apache.hadoop.hdfs.DFSOutputStream.createSocketForPipeline(DFSOutputStream.java:1533)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1309)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1262)
        at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:448)

然后该进程无法再访问数据节点：

[2018-05-23 10:32:10,316] WARN DataStreamer Exception (org.apache.hadoop.hdfs.DFSClient:557)
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /topics/+tmp/test_hdfs/year=2018/month=05/day=23/hour=08/60e75c4c-9129-454f-aa87-6c3461b54445_tmp.parquet could only be replicated to 0 nodes instead of minReplication (=1).  There are 3 datanode(s) running and 3 node(s) are excluded in this operation.
        at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1733)
        at org.apache.hadoop.hdfs.server.namenode.FSDirWriteFileOp.chooseTargetForNewBlock(FSDirWriteFileOp.java:265)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2496)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:828)

但如果我查看 hadoop web 管理控制台，所有节点似乎都已启动并且正常。

我已经检查了 hdfs 站点，并且 namenode 和 datanodes 上的“dfs.client.use.datanode.hostname”设置都设置为 true。 hadoop配置文件中的所有ip都是使用0.0.0.0地址定义的。

我也尝试过格式化namenode，但错误又发生了。

问题会不会是 Kafka 在 HDFS 中的写入速度太快，以至于不堪重负？这会很奇怪，因为我在较小的集群上尝试了相同的配置，即使 kafka 消息的吞吐量很大，它也能正常工作。

您对这个问题的根源还有其他想法吗？

谢谢

【问题讨论】：

标签： docker hadoop apache-kafka hdfs

【解决方案1】：

dfs.client.use.datanode.hostname=true 也必须配置到客户端，并按照您的日志堆栈：

java.nio.channels.SocketChannel[connection-pending remote=/10.0.0.9:50010]

我猜10.0.0.9指的是私网IP；因此，似乎该属性未在 hdfs-client.xml 中的客户端中设置。

您可以找到更多详细信息here。

【讨论】：