【问题标题】:Can I change Spark's executor memory at runtime?我可以在运行时更改 Spark 的执行程序内存吗?
【发布时间】:2015-09-30 16:24:18
【问题描述】:

是否可以在 Spark 运行时更改执行器内存的值?我想这样做的原因是,对于一些地图任务,我希望纱线调度程序将每个任务放在一个单独的节点上。通过将执行程序内存增加到接近节点的总内存,我确保它们分布在每个节点上。稍后,我想每个节点运行几个任务,所以我会降低它们的执行器内存。

【问题讨论】:

    标签: java scala hadoop apache-spark hadoop-yarn


    【解决方案1】:

    不,你不能。

    每个执行程序都在自己的 JVM 上启动,您无法在运行时更改 JVM 内存。参考请看:Setting JVM heap size at runtime

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2023-04-05
      • 2014-05-23
      • 2019-06-10
      • 1970-01-01
      • 2014-09-23
      • 2012-12-07
      相关资源
      最近更新 更多