【发布时间】:2015-09-30 16:24:18
【问题描述】:
是否可以在 Spark 运行时更改执行器内存的值?我想这样做的原因是,对于一些地图任务,我希望纱线调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存,我确保它们分布在每个节点上。稍后,我想每个节点运行几个任务,所以我会降低它们的执行器内存。
【问题讨论】:
标签: java scala hadoop apache-spark hadoop-yarn
是否可以在 Spark 运行时更改执行器内存的值?我想这样做的原因是,对于一些地图任务,我希望纱线调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存,我确保它们分布在每个节点上。稍后,我想每个节点运行几个任务,所以我会降低它们的执行器内存。
【问题讨论】:
标签: java scala hadoop apache-spark hadoop-yarn
不,你不能。
每个执行程序都在自己的 JVM 上启动,您无法在运行时更改 JVM 内存。参考请看:Setting JVM heap size at runtime
【讨论】: