如何在hadoop中设置容器物理限制

Question

我正在使用 hadoop 2.8 并运行读取 100MB csv 并在其上执行登录的流作业，但我在控制台中遇到错误：

Container [pid=20975,containerID=container_1502190583079_0006_01_000002] is running beyond physical memory limits. Current usage: 1.0 GB of 1 GB physical memory used; 1.7 GB of 2.1 GB virtual memory used. Killing container.
Dump of the process-tree for container_1502190583079_0006_01_000002 :

我不知道如何解决，谁能帮忙，提前谢谢。

Answer 1

你应该将map/reduce的java.opts设置为map/reduce容器内存的75%~80%。如果还是不行，增加map/reduce容器的内存。

map/reduce 容器内存配置(mapred-site.xml)

  mapreduce.map.memory.mb: 1024
  mapreduce.reduce.memory.mb: 2048

map/reduce java进程的堆大小配置(mapred-site.xml)

  mapreduce.map.java.opts: -Xmx768m
  mapreduce.reduce.java.opts: -Xmx1536m

您可以在此answer 中找到详细信息。