无法在 CDH5.3 中初始化任何输出收集器

【问题标题】：Unable to initialize any output collector in CDH5.3无法在 CDH5.3 中初始化任何输出收集器
【发布时间】：2015-05-24 14:07:35
【问题描述】：

15/05/24 06:11:40 INFO mapreduce.Job: Task Id : attempt_1432456238397_0004_m_000000_0, Status : FAILED
Error: java.io.IOException: Unable to initialize any output collector
    at org.apache.hadoop.mapred.MapTask.createSortingCollector(MapTask.java:412)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:439)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:415)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1642)

我正在使用 CDH 5.3 cloudera 快速入门，我编写了 MapReduce 程序。当我在 shell 上运行它时，我遇到了异常。

谁能帮我解决一下，怎么解决

【问题讨论】：

标签： hadoop mapreduce cloudera

【解决方案1】：

错误“无法初始化任何输出收集器”表示作业无法启动容器，可能有多种原因。但是，必须查看 hdfs 上的容器日志以确定错误原因。

在此特定实例中，输入的 mapreduce.task.io.sort.mb 值大于 2047 MB，但它允许的最大值为 2047 MB，因此任何高于它的值都会导致作业无法将提供的值标记为无效.

解决方案：

设置mapreduce.task.io.sort.mb < 2048MB的值

参考：

https://support.pivotal.io/hc/en-us/articles/205649987-Map-Reduce-job-failed-with-Unable-to-initialize-any-output-collector-

CDH5.2: MR, Unable to initialize any output collector

https://community.cloudera.com/t5/Storage-Random-Access-HDFS/HBase-MapReduce-Job-Error-java-io-IOException-Unable-to/td-p/23786

【讨论】：