【发布时间】:2012-03-20 16:23:43
【问题描述】:
与客户端到namenode或namenode和datanode之间的rpc通信不同,datanode似乎有自己的方式来相互通信。
那么数据节点是如何相互通信的呢?他们有这方面的相关资料吗?
【问题讨论】:
标签: hadoop
与客户端到namenode或namenode和datanode之间的rpc通信不同,datanode似乎有自己的方式来相互通信。
那么数据节点是如何相互通信的呢?他们有这方面的相关资料吗?
【问题讨论】:
标签: hadoop
我认为datanodes之间的主要通信是数据传输,将块从一个datanode复制到一个或多个其他节点。
如果你手头有源码,可以看DataNode.DataTransfer.run()。 0.20.2 版本(我手头有源),连接到目标数据节点(一次一个),发送标头,然后发送块字节。
【讨论】: