Spark 作业在纱线上失败并出现内存错误

Question

我的 spark 作业失败并出现以下错误： 诊断：容器 [pid=7277,containerID=container_1528934459854_1736_02_000001] 运行超出物理内存限制。当前使用情况：已使用 1.4 GB 的 1.4 GB 物理内存；使用了 3.1 GB 的 6.9 GB 虚拟内存。杀死容器。

Answer 1

你的容器被杀死了。当您的 Yarn 内存不足以执行任务时，就会发生这种情况。因此，可能的解决方案是增加 Yarn 内存。

你有两个选择：

1. 要么增加节点管理器的当前内存大小
2. 或者在另外一个 Datanode 上分配一个新的节点管理器。

它会增加 Yarn Memory 并确保它至少在 2 GB 左右。