YARN 容器内存未反映在 java Xmx 设置中

Question

请帮助我理解我的理解或配置中的错误。

我在 YARN 上运行 Spark，并在 yarn-site.xml 中将最小容器内存分配设置为 8GB：

<property>
    <name>yarn.scheduler.minimum-allocation-mb</name>
    <value>8192</value>
</property>

我可以在资源管理器 UI 中看到此设置：

但是，当我在服务器上 ps 容器的 java 进程时，最大堆大小设置为 1024MB，即 -Xmx1024m:

root 542 535 1 16:18 ? 00:05:58 /usr/lib/jvm/jre-1.8.0-openjdk/bin/java -server -Xmx1024m -Djava.io.tmpdir=/tmp/hadoop-root/nm-local-dir/usercache/root/appcache/application_1583021363029_0011/container_1583021363029_0011_03_000003/tmp ...

容器的java进程id是542：

Logs for container_1583021363029_0011_03_000003

0/03/02 16:18:57 INFO executor.CoarseGrainedExecutorBackend: Started daemon with process name: 542@xxxxxxxx.xxxx.xxx
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for TERM
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for HUP
20/03/02 16:18:57 INFO util.SignalUtils: Registered signal handler for INT

Answer 1

Java opts 和 YARN 容器大小是不同的属性

最大堆大小设置可以在集群模式下使用spark.driver.memory 设置，在客户端模式下通过--driver-memory 命令行选项设置