在 Hadoop-2.6.0 中，容器因虚拟内存不足而被杀死答案

【问题标题】：In Hadoop-2.6.0, container was killed for not enough virtual memory在 Hadoop-2.6.0 中，容器因虚拟内存不足而被杀死
【发布时间】：2016-08-24 01:09:16
【问题描述】：

我正在尝试在hadoop上实现jcuda代码，它在本地模式下工作，但是当我在hadoop集群上运行作业时，它给了我一个错误：容器被杀死这里是具体的错误报告：

16/04/29 10:18:07 信息 mapreduce.Job：任务 ID：尝试_1461835313661_0014_r_000009_2，状态：失败容器 [pid=19894,containerID=container_1461835313661_0014_01_000021] 运行超出虚拟内存限制。当前使用情况：已使用 1 GB 物理内存中的 197.5 MB；使用了 20.9 GB 的 2.1 GB 虚拟内存。杀死容器。

输入数据只有200MB，但是作业要求20.9GB虚拟内存我不知道为什么。我尝试增加虚拟内存，配置在yarn-site.xml中：

<property>
   <name>yarn.nodemanager.vmem-pmem-ration</name>
   <value>12</value>
</property>

 <property>
    <name>yarn.nodemanager.pmem-check-enabled</name>
    <value>false</value>
 </property>

 <property>
    <name>yarn.nodemanager.vmem-check-enabled</name>
    <value>false</value>
 </property>

它不起作用，我不知道如何解决它，我很抱歉我的英语不好。

【问题讨论】：

此处需要更多详细信息。您必须缩小搜索空间。现在，我们只知道你有“一些”程序正在“某处”运行，正在做“某事”，需要大量内存。您认为它与 JCuda 有什么特别的关系吗？

标签： hadoop mapreduce jcuda

【解决方案1】：

    Please check the following parameters and set it if not set to the values below:

    In mapred-site.xml:

    mapreduce.map.memory.mb: 4096

    mapreduce.reduce.memory.mb: 8192

    mapreduce.map.java.opts: -Xmx3072m

    mapreduce.reduce.java.opts: -Xmx6144m

Hope this solves your issue

【讨论】：

你在mapred-site.xml中说的参数我试过了，还是不行