【问题标题】:Hadoop 2.2.0 ResourceManager fails to bind to port 8088Hadoop 2.2.0 ResourceManager 无法绑定到端口 8088
【发布时间】:2014-04-03 18:32:48
【问题描述】:

我已经在 Ubuntu 上成功运行 Hadoop 版本 2.2.0 几个星期了。我之前的经验是在 1.0.1 上。我正在运行 Ubuntu 13.10,安装了全新安装和 build-essential 以及手动安装的 Hadoop 环境。这个 Ubuntu 盒子也有一个运行成功的 LAMP 环境。我从 wordcount 开始,并在示例之外构建了模式匹配功能。这一切都按预期编译和执行。但是,我有一个最近出现的问题。我再也无法让 ResourceManager 成功绑定到 8088。

yarn-site.xml 文件中没有任何变化。

<property>
<name>yarn.resourcemanager.address</name>
    <value>superghdp220:8088</value>
</property>

主机名正确返回,我的 IP 地址在 ifconfig 中检出,并且主机文件与该 IP 地址匹配。

Apache 在端口 80 上运行并返回“It Works!”横幅。

jps的输出如下

hduser@superghdp220:/usr/local/hadoop$ jps
19876 NameNode
20741 Jps
19997 DataNode
20175 SecondaryNameNode
20479 NodeManager

sudo netstat -an | grep ':8088' 的输出返回 NULL

sudo netstat -a -t --numeric-ports -p的输出返回所有绑定的端口,但8088不在列表中。

最后是 yarn-hduser-resourcemanager-superghdp220.log 有用的最后输出行

org.apache.hadoop.yarn.server.resourcemanager.rmcontainer.ContainerAllocationExpirer thread interrupted
2014-04-03 11:17:27,638 FATAL org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: Error starting ResourceManager
org.apache.hadoop.yarn.exceptions.YarnRuntimeException: java.net.BindException: Problem binding to [superghdp220:8088] java.net.BindException: Address already in use; For more details see:  http://wiki.apache.org/hadoop/BindException
    at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:139)
    at org.apache.hadoop.yarn.ipc.HadoopYarnProtoRPC.getServer(HadoopYarnProtoRPC.java:65)
    at org.apache.hadoop.yarn.ipc.YarnRPC.getServer(YarnRPC.java:54)
    at org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.serviceStart(ClientRMService.java:149)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
    at org.apache.hadoop.service.CompositeService.serviceStart(CompositeService.java:121)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.serviceStart(ResourceManager.java:671)
    at org.apache.hadoop.service.AbstractService.start(AbstractService.java:193)
    at org.apache.hadoop.yarn.server.resourcemanager.ResourceManager.main(ResourceManager.java:872)
Caused by: java.net.BindException: Problem binding to [superghdp220:8088] java.net.BindException: Address already in use; For more details see:  http://wiki.apache.org/hadoop/BindException
    at org.apache.hadoop.net.NetUtils.wrapException(NetUtils.java:719)
    at org.apache.hadoop.ipc.Server.bind(Server.java:422)
    at org.apache.hadoop.ipc.Server$Listener.<init>(Server.java:534)
    at org.apache.hadoop.ipc.Server.<init>(Server.java:2203)
    at org.apache.hadoop.ipc.RPC$Server.<init>(RPC.java:897)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server.<init>(ProtobufRpcEngine.java:505)
    at org.apache.hadoop.ipc.ProtobufRpcEngine.getServer(ProtobufRpcEngine.java:480)
    at org.apache.hadoop.ipc.RPC$Builder.build(RPC.java:742)
    at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.createServer(RpcServerFactoryPBImpl.java:169)
    at org.apache.hadoop.yarn.factories.impl.pb.RpcServerFactoryPBImpl.getServer(RpcServerFactoryPBImpl.java:132)
    ... 8 more
2014-04-03 11:17:27,655 INFO org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down ResourceManager at superghdp220/192.168.137.160
************************************************************/

非常感谢任何见解或帮助。 谢谢阅读, 帕特

【问题讨论】:

  • :yarn.resourcemanager.webapp.address 的值是多少?
  • 这不是我目前设置的属性。我只有 yarn.resourcemanager.address 的上述属性值。我现在就试试那个属性。顺便说一句,这不是我使用的安装指令中的属性值。但是,在最初安装时,我已经启动并运行了资源管理器 Web UI 几个星期
  • yarn.resourcemanager.webapp.address 默认值为 8088,这是根据您的配置为 yarn.resourcemanager.address 设置的值。 hadoop.apache.org/docs/r2.3.0/hadoop-yarn/hadoop-yarn-common/…
  • 你说得对,我根据 yarn-common docs 进行了更改,并且绑定得很好。它现在可以工作了,我只是不知道为什么在没有这个属性集的情况下它会更早地工作。谢谢,帕特

标签: apache ubuntu hadoop


【解决方案1】:

“yarn.resourcemanager.webapp.address”默认使用8088(您可以查看此文档了解更多详细信息:https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

所以您可以尝试更改 yarn.resourcemanager.webapp.address 或 yarn.resourcemanager.address 中的端口

【讨论】:

    猜你喜欢
    • 2017-11-08
    • 2018-11-10
    • 1970-01-01
    • 2015-05-28
    • 2021-06-05
    • 2016-01-01
    • 2016-01-29
    • 2019-05-29
    • 1970-01-01
    相关资源
    最近更新 更多