Hadoop 作业抛出 ConnectException 访问端口 8021答案

【问题标题】：Hadoop job throwing ConnectException accessing port 8021Hadoop 作业抛出 ConnectException 访问端口 8021
【发布时间】：2015-01-07 17:18:39
【问题描述】：

我已经使用 Cloudera Manager 安装了 CDH5。我从 Cloudera Map/Reduce 教程中复制并构建了字数统计应用程序

当我运行它时，我得到一个带有以下文本的 ConnectException：

线程“主”java.net.ConnectException 中的异常：从 fatman.localdomain/10.1.1.10 调用 fatman.localdomain:8021 连接异常失败：java.net.ConnectException：连接被拒绝；更多详情见：http://wiki.apache.org/hadoop/ConnectionRefused

我是 MRv2 和 Yarn 的新手，所以我做了很多研究，试图弄清楚这里发生了什么。我的研究表明端口 8021 通常与 MRv1 中的 JobTracker 相关联，并且 Yarn 中没有 JobTracker。根据我在异常消息的链接中发现的内容，似乎存在三个可能的问题，防火墙正在断开连接，存在配置错误或应该在该端口上侦听的服务未运行。我已验证防火墙均已关闭。我怀疑没有服务在监听端口 8021，而且不应该有，这是配置问题，但我不知道如何验证。在达到当前状态之前，我已经安装和卸载了几个不同的 CDH 版本。在这个过程中可能会出现一些问题。

我找到了一个 hadoop 配置文件 /etc/hadoop/conf/mapred-site.xml 具有以下属性：

<property>
    <name>mapred.job.tracker</name>
    <value>fatman.localdomain:8021</value>
</property>
<property>
    <name>mapred.job.tracker.http.address</name>
    <value>0.0.0.0:50030</value>
</property>

所以我可以从这个配置文件中获取 8021 端口。当我查看这个时，我发现 CDH5 定义了 MRv1 端口，包括 8021。所以这让我相信 CDH5 同时支持 MRv1 和 MRv2。当我查看 Cloudera Manager 时，我看到一个“Yarn（包括 MR2）”服务正在运行，并且没有任何东西看起来与 MRv1 相关联。这让我相信我正在运行 MRv2 而不是 MRv1。

所以我很难过。我怀疑字数统计应用程序不应该尝试在 MRv2 中使用端口 8021（有人可以确认吗？）。有谁知道这里发生了什么或对如何弄清楚发生了什么有任何想法？

谢谢，史蒂夫

更新： 我已经解决了这个问题。我认为这是一个配置问题，并小心地卸载了 CDH，确保删除与安装相关的所有内容，然后重新安装。之后一切正常。所以...我并没有真正弄清楚到底出了什么问题，但我现在可以继续前进了。

感谢 Chowdary 先生的回答。我会投赞成票，但我缺乏这样做的声誉。

【问题讨论】：

标签： hadoop cloudera

【解决方案1】：

在没有配置文件和完整的错误堆栈的情况下发现问题是很典型的。
在 MR2 中，我们不再使用 JobTracker，因此 hadoop 不使用使用 jobtracker 配置 mapred-site.xml。 yarn-site.xml 用于资源管理器配置和启用yarn 模型资源管理和应用程序监控。
所以你必须在yarn-site.xml 中定义资源管理器在哪里运行，如下所示

 <property>
    <name>yarn.resourcemanager.address</name>
    <value>host:port</value>
    <description>the host is the hostname of the ResourceManager and the port is the port on
    which the clients can talk to the Resource Manager. </description>
  </property>

并检查是否配置了 SSH，如果不配置，Application Master 无法与节点管理器通信以启动容器。
您可以参考优秀站点this和this，以便在单节点集群中轻松配置YARN
希望对您有所帮助！

【讨论】：