为什么会出现纱线内存错误？

Question

在 HDP 2.6.3、Spark 2.2 和 Zeppelin 0.7.3 中出现此错误：

java.lang.IllegalArgumentException: Required executor memory (12288+384 MB) is above 
the max threshold (8192 MB) of this cluster! Please check the values of 
'yarn.scheduler.maximum-allocation-mb' and/or 'yarn.nodemanager.resource.memory-mb'.

yarn.nodemanager.resource.memory-mb 最大 (8GB)。

我有 4 个节点，每个节点 16GB，所以我有 yarn.scheduler.maximum-allocation-mb = 14.25GB。

我试过了：

export ZEPPELIN_JAVA_OPTS="-Dspark.executor.memory=2g -Dspark.cores.max=7"

没有运气。

问题是12288，我该如何减少它？ 蒂亚！

Answer 1

您可以随时提出yarn.nodemanager.resource.memory-mb，它应该与yarn.scheduler.maximum-allocation-mb 相同。 8 GB 是默认值，而不是最大值。