Hadoop MapReduce 中的错误答案

【问题标题】：Error in Hadoop MapReduceHadoop MapReduce 中的错误
【发布时间】：2010-01-19 05:25:59
【问题描述】：

当我使用 Hadoop 运行 mapreduce 程序时，我收到以下错误。

10/01/18 10:52:48 INFO mapred.JobClient: Task Id : attempt_201001181020_0002_m_000014_0, Status : FAILED
  java.io.IOException: Task process exit with nonzero status of 1.
    at org.apache.hadoop.mapred.TaskRunner.run(TaskRunner.java:418)
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stdout
10/01/18 10:52:48 WARN mapred.JobClient: Error reading task outputhttp://ubuntu.ubuntu-domain:50060/tasklog?plaintext=true&taskid=attempt_201001181020_0002_m_000014_0&filter=stderr

这个错误是关于什么的？

【问题讨论】：

标签： hadoop mapreduce

【解决方案1】：

Hadoop 产生此错误的一个原因是包含日志文件的目录变得太满。这是Ext3 Filesystem 的限制，每个inode 最多只能有32000 个链接。

检查您的日志目录在hadoop/userlogs 中的完整程度

对此问题的一个简单测试是尝试从命令行创建一个目录，例如：$ mkdir hadoop/userlogs/testdir

如果用户日志中有太多目录，操作系统应该无法创建目录并报告目录太多。

【讨论】：

一百万谢谢。我也不知道发生了什么。

【解决方案2】：

当我的日志目录磁盘空间不足时，我遇到了同样的问题。

【讨论】：

【解决方案3】：

另一个原因可能是，当您尝试为 JVM 分配一些专用空间并且它在您的计算机上不存在时出现 JVM 错误。

sample code:
conf.set("mapred.child.java.opts", "-Xmx4096m");

Error message:
Error occurred during initialization of VM
Could not reserve enough space for object heap

解决方案：将 -Xmx 替换为您可以提供给机器上 JVM 的专用内存值（例如“-Xmx1024m”）

【讨论】：

【解决方案4】：

将您的 ulimit 增加到无限制。或替代解决方案减少分配的内存。

【讨论】：

愿意解释原因或提供一些参考资料吗？
为了增加 ulimit - 如果你有很多内存并且你为 JVM 分配了有限的内存并且你在内存中保存了大量的数据，那么 JVM 将会失败。如果您没有太多内存并且由于配置错误，您最终会分配大量内存，这样您就会得到这个。 VM 初始化时出错无法为对象堆保留足够的空间。

【解决方案5】：

如果您在 Eclipse 中创建一个可运行的 jar 文件，它会在 hadoop 系统上给出该错误。您应该提取可运行部分。这解决了我的问题。

【讨论】：