hadoop集群中Namenode和Datanode的通信端口是什么答案

【问题标题】：What is the communication port between Namenode and Datanode in hadoop clusterhadoop集群中Namenode和Datanode的通信端口是什么
【发布时间】：2023-03-26 14:25:01
【问题描述】：

想知道hadoop中Namenode和Datanode具体使用的通信协议port number。

说，如果我在Namenode中写如下命令，

hdfs dfsadmin -report

它将显示活动节点（namenode 和 datanode）的详细信息，有多少个 datanode 等。我的问题是 namenode 和 datanode 如何通信？通过which port?实际上，我使用上述命令只获得了 1 个数据节点，而在我的集群中，有 8 个数据节点。所以，我不确定是否有任何port blocking of networking 导致了这个！我的防火墙在名称节点和所有数据节点中被禁用。我已经通过返回inactive 的sudo ufw status 命令检查了这一点。

从 hadoop 官方页面 (link)，我发现了这个：

通信协议

所有 HDFS 通信协议都位于 TCP/IP 之上协议。客户端建立到可配置 TCP 端口的连接在 NameNode 机器上。它与 ClientProtocol 对话名称节点。 DataNode 使用 DataNode 与 NameNode 对话协议。远程过程调用 (RPC) 抽象包含客户端协议和数据节点协议。根据设计，NameNode 从不启动任何 RPC。相反，它只响应 RPC 请求由DataNodes或客户端发布。

我在Ubuntu 16.04中使用hadoop 3.1.1

非常感谢任何帮助。谢谢。

【问题讨论】：

标签： hadoop port ubuntu-16.04 namenode datanode

【解决方案1】：

这些都是在hdfs-site.xml 中配置的。

例如，默认情况下，dfs.datanode.address=0.0.0.0:9866

如果您搜索port 或address，则通常可以找到您要查找的内容https://hadoop.apache.org/docs/r3.1.1/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

如果该命令或 NameNode UI 未显示数据节点，则 SSH 到各个节点，检查 jps 以查看进程是否正在运行，并记录文件以查找进程是否未运行。

【讨论】：