无法初始化集群。请检查您对 mapreduce.framework.name 的配置和相应的服务器地址 - 提交 job2remoteClustr答案

【问题标题】：Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses-submiting job2remoteClustr无法初始化集群。请检查您对 mapreduce.framework.name 的配置和相应的服务器地址 - 提交 job2remoteClustr
【发布时间】：2013-10-03 08:24:15
【问题描述】：

我最近将集群从 Apache Hadoop1.0 升级到了 CDH4.4.0。我在另一台机器上有一个 weblogic 服务器，我通过 mapreduce 客户端将作业提交到这个远程集群。我仍然想使用 MR1 而不是 Yarn。我已经针对 CDH 安装 (/usr/lib/hadoop/client/*) 中的客户端 jar 编译了我的客户端代码

创建 JobClient 实例时出现以下错误。 有很多帖子与同一问题相关，但所有解决方案都是指将作业提交到本地集群而不是远程，特别是在我的情况下从 wls 容器提交作业的场景。

JobClient jc = new JobClient(conf);

Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.

但是从集群上的命令提示符运行完全正常。

感谢您的及时帮助！

【问题讨论】：

标签： hadoop mapreduce cloudera

【解决方案1】：

就我而言，我通过使用 hadoop jar 而不是 java -jar 解决了这个问题。很有用，hadoop 会从 hdfs-site.xml、core-site.xml 提供配置上下文 ....

【讨论】：

【解决方案2】：

与 Akshay（由 Setob_b 评论）一样，我需要解决的只是在我的类路径中获取 hadoop-mapreduce-client-shuffle-.jar。

Maven 如下：

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-mapreduce-client-shuffle</artifactId>
    <version>${hadoop.version}</version>
</dependency>

【讨论】：

【解决方案3】：

就我而言，奇怪的是，这个错误是因为在我的“core-site.xml”文件中，我提到了“IP 地址”而不是“主机名”。当我提到“主机名”代替 IP 地址和“core-site.xml”和“mapred.xml”并重新安装 mapreduce 库文件时，错误得到了解决。

【讨论】：

【解决方案4】：

我的情况是，我正在运行 sqoop 1.4.5 并将其指向最新的 hadoop 2.0.0-cdh4.4.0，它有纱线的东西，这也是它抱怨的原因。

当我将 sqoop 指向 hadoop-0.20/2.0.0-cdh4.4.0（我认为是 MR1）时，它起作用了。

【讨论】：

【解决方案5】：

我遇到了类似的错误，并将以下 jar 添加到类路径中，它对我有用： hadoop-mapreduce-client-jobclient-2.2.0.2.0.6.0-76:hadoop-mapreduce-client-shuffle-2.3.0.jar:hadoop-mapreduce-client-common-2.3.0.jar

【讨论】：

它为我解决了这个问题（只有 shuffle 就足够了），但是你能解释一下为什么吗？

【解决方案6】：

export HADOOP_MAPRED_HOME=/cloudera/parcels/CDH-4.1.3-1.cdh4.1.3.p0.23/lib/hadoop-0.20-mapreduce

【讨论】：

【解决方案7】：

在我的情况下，这个错误是由于 jars 的版本，请确保您使用的版本与服务器中的版本相同。

【讨论】：

【解决方案8】：

您的应用可能正在查看您的旧 Hadoop 1.x 配置文件。也许您的应用程序硬编码了一些配置？此错误往往表明您正在使用新的客户端库，但他们没有看到新样式的配置。

它必须存在，因为命令行工具可以很好地看到它们。检查您的 HADOOP_HOME 或 HADOOP_CONF_DIR 环境变量，尽管这是命令行工具倾向于选择的内容，并且它们可以工作。

请注意，您需要在 CDH 4.4 中安装“mapreduce”服务而不是“yarn”，以使其与 MR1 客户端兼容。另请参阅 Maven 中的“...-mr1-...”工件。

【讨论】：