【发布时间】：2014-06-08 14:25:06
【问题描述】：
我已经搜索了两天的解决方案。但没有任何效果。
首先，我是整个 hadoop/yarn/hdfs 主题的新手，想配置一个小型集群。
每次我从 mapreduce-examples.jar 运行示例时，上面的消息都不会显示 有时 teragen 有效，有时无效。 在某些情况下，整个工作都失败了，在其他情况下，工作成功完成。有时作业失败，没有打印上面的消息。
14/06/08 15:42:46 INFO ipc.Client: Retrying connect to server: FQDN-HOSTNAME/XXX.XX.XX.XXX:53022. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=3, sleepTime=1000 MILLISECONDS)
此消息被打印 30 次。每次启动作业时，端口（在代码示例中：53022）也会发生变化。 如果作业成功完成，这是打印
14/06/08 15:34:20 INFO mapred.ClientServiceDelegate: Application state is completed. FinalApplicationStatus=SUCCEEDED. Redirecting to job history server
14/06/08 15:34:20 INFO mapreduce.Job: Job job_1402234146062_0002 running in uber mode : false
14/06/08 15:34:20 INFO mapreduce.Job: map 100% reduce 100%
14/06/08 15:34:20 INFO mapreduce.Job: Job job_1402234146062_0002 completed successfully
如果失败，则显示。
INFO mapreduce.Job: Job job_1402234146062_0005 failed with state FAILED due to: Task failed task_1402234146062_0005_m_000002
Job failed as tasks failed. failedMaps:1 failedReduces:0
在这种情况下，一些任务失败了。但在 nodemanager、datanode、resourcemanager 的日志文件中，……是没有理由或消息的。
INFO mapreduce.Job: Task Id : attempt_1402234146062_0006_m_000002_1, Status : FAILED
关于我的配置的其他信息： 使用操作系统：centOS 6.5 Java 版本：OpenJDK 运行时环境 (rhel-2.4.7.1.el6_5-x86_64 u55-b13) OpenJDK 64 位服务器 VM（内部版本 24.51-b03，混合模式）
yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.address</name>
<value>FQDN-HOSTNAME:8050</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.localizer.address</name>
<value>FQDN-HOSTNAME:8040</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>FQDN-HOSTNAME:8025</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>FQDN-HOSTNAME:8030</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>FQDN-HOSTNAME:8032</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions </name>
<value>false </value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///var/data/hadoop/hdfs/nn</value>
</property>
<property>
<name>fs.checkpoint.dir</name>
<value>file:///var/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>fs.checkpoint.edits.dir</name>
<value>file:///var/data/hadoop/hdfs/snn</value>
<name>fs.checkpoint.edits.dir</name>
<value>file:///var/data/hadoop/hdfs/snn</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///var/data/hadoop/hdfs/dn</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.cluster.temp.dir</name>
<value>/mapred/tempDir</value>
</property>
<property>
<name>mapreduce.cluster.local.dir</name>
<value>/mapred/localDir</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>FQDN-HOSTNAME:10020</value>
</property>
</configuration>
我希望有人可以帮助我。 :) 谢谢， 诺曼
【问题讨论】：
-
问题是由端口问题引起的。如果我停止 iptables，所有作业都会成功运行。我试图在 yarn.app.mapreduce.am.job.client.port-range 的 mapred-site.xml 中指定 applicationMaster 的端口范围。但这无济于事。 netstat 说，仍然存在使用该范围之外端口的 MRAppMaster 程序。是否有更多设置可以在 mapred-site.xml 或 yarn-site.xml 中为 appMaster 指定端口？谢谢，诺曼。
标签： hadoop mapreduce ipc hadoop-yarn