【发布时间】：2016-10-25 08:23:17
【问题描述】：
我有一个 Spark 作业，它在前半部分需要大部分执行程序内存，在后半部分需要大部分用户内存。有什么方法可以在运行时动态更改 Spark 内存分数？
【问题讨论】：
-
还有用户内存是什么意思？
-
@Shankar 0x0fff.com/spark-memory-management
标签： apache-spark
【发布时间】：2016-10-25 08:23:17
【问题描述】：
简短：spark.* 配置选项无法在运行时更改。
更长：应该没有必要。如果您使用最近的 Spark（1.6 或更高版本），则不推荐使用内存设置。您可以设置spark.memory.useLegacyMode，Spark 将完成剩下的工作。
【讨论】：
-
据我所知，统一内存管理仅适用于 RDD 内存，即 --spark.memory.fraction 。 spark.memory.fraction 和 1-spark.memory.fraction 仍然没有办法共享