Apache Spark 看不到我机器的所有内存

Question

我创建了一个包含 8 台机器的 Spark 集群。每台机器都有 104 GB 的 RAM 和 16 个虚拟内核。

我似乎认为 Spark 每台机器只能看到 42 GB 的 RAM，这是不正确的。你知道为什么 Spark 看不到机器的所有 RAM 吗？

PS：我使用的是 Apache Spark 1.2

Answer 1

似乎是一个常见的误解。显示的是 spark.storage.memoryFraction ： https://stackoverflow.com/a/28363743/4278362

Answer 2

Spark 不会尝试猜测可用内存。执行程序使用的内存与您在 spark.executor.memory 设置中指定的一样多。看起来它设置为 42 GB。