【问题标题】:Datanode and Nodemanager on slave machine are not able to connect to NameNode and ResourceManager on master machine从机上的Datanode和Nodemanager无法连接到主机上的NameNode和ResourceManager
【发布时间】:2023-03-12 17:27:02
【问题描述】:

我已经在两个节点集群 Node1 和 Node2 上安装了 hadoop。 Node1 是主节点,Node2 是从节点。 Node2的datanode和Nodemanager无法分别连接Node1上的Namenode和Resourcemanager。但是Node1的datanode和Nodemanager无法连接Node1上的Namenode和Resourcemanager。


节点1:jps 18083 资源管理器 18572 日元 18207 节点管理器 17621 数据节点 17827 次要名称节点 17478 名称节点

Node2: jps 1548 数据节点


对于 Node2,NodeManger 给出以下异常:

致命的 org.apache.hadoop.yarn.server.nodemanager.NodeManager:启动 NodeManager 时出错 org.apache.hadoop.yarn.exceptions.YarnRuntimeException:java.net.NoRouteToHostException:没有从节点 2/10.222.188.172 到节点 1:8031 的路由在套接字超时异常上失败:java.net.NoRouteToHostException:没有到主机的路由;更多详情见:http://wiki.apache.org/hadoop/NoRouteToHost

对于 Node2,DataNode 给出以下错误:

警告 org.apache.hadoop.hdfs.server.datanode.DataNode:连接到服务器时出现问题:node1/10.222.188.107:9000 2015-06-19 08:42:54,786 INFO org.apache.hadoop.ipc.Client:重试连接到服务器:node1/10.222.188.107:9000。已尝试 0 次;重试策略是 RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)


netstat -nlp 的输出 |节点1上的grep 9000

tcp 0 0 10.222.188.107:9000 0.0.0.0: LISTEN 17478/java*

netstat -nlp 的输出 |节点1上的grep 8031

tcp 0 0 10.222.188.107:8031 0.0.0.0: LISTEN 18083/java*


etc/hosts 文件 node1 & node2:

127.0.0.1 本地主机

10.222.188.106 主控

10.222.188.107 节点1

10.222.188.172 节点2

【问题讨论】:

    标签: java apache sockets hadoop tcp


    【解决方案1】:

    我发现了这个问题。 在 iptables 规则中,tcp 连接被阻止。 我使用以下命令刷新了 iptables 规则并解决了问题。

    sudo iptables -F
    

    【讨论】:

      猜你喜欢
      • 2015-04-26
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-11-13
      • 1970-01-01
      • 2015-12-09
      • 2017-08-02
      • 2017-09-09
      相关资源
      最近更新 更多