【问题标题】:How are the datanodes communicates with each other in Hadoop?Hadoop中的datanodes如何相互通信?
【发布时间】:2012-03-20 16:23:43
【问题描述】:

与客户端到namenode或namenode和datanode之间的rpc通信不同,datanode似乎有自己的方式来相互通信。

那么数据节点是如何相互通信的呢?他们有这方面的相关资料吗?

【问题讨论】:

    标签: hadoop


    【解决方案1】:

    我认为datanodes之间的主要通信是数据传输,将块从一个datanode复制到一个或多个其他节点。

    如果你手头有源码,可以看DataNode.DataTransfer.run()。 0.20.2 版本(我手头有源),连接到目标数据节点(一次一个),发送标头,然后发送块字节。

    http://svn.apache.org/viewvc/hadoop/common/tags/release-0.20.2/src/hdfs/org/apache/hadoop/hdfs/server/datanode/DataNode.java?view=markup

    【讨论】:

    • 谢谢,帮了大忙!我正在阅读源代码,对数据节点之间的通信有点困惑。
    猜你喜欢
    • 2012-02-10
    • 1970-01-01
    • 1970-01-01
    • 2012-03-22
    • 2011-06-21
    • 2017-04-11
    • 2017-05-28
    • 1970-01-01
    • 2023-03-17
    相关资源
    最近更新 更多