【问题标题】:does apache spark re-use heap memory if no caching is needed?如果不需要缓存,apache spark 会重新使用堆内存吗?
【发布时间】:2020-10-02 15:12:59
【问题描述】:

如果我的 spark 2.x 应用程序不需要缓存,建议我将 spark.storage.fraction 设置为零。如果不进行缓存,spark 不知道重新使用该空间吗?我真的应该告诉它缓存专用空间应该重新用于处理吗?

【问题讨论】:

    标签: apache-spark apache-spark-2.0


    【解决方案1】:

    所以答案是肯定的,spark 2.x 正在重新分配存储和处理之间的堆空间。

    【讨论】:

      猜你喜欢
      • 2011-04-13
      • 1970-01-01
      • 2011-03-23
      • 1970-01-01
      • 1970-01-01
      • 2017-10-01
      • 2021-12-03
      • 2017-08-14
      • 2021-06-06
      相关资源
      最近更新 更多