【发布时间】:2020-10-02 15:12:59
【问题描述】:
如果我的 spark 2.x 应用程序不需要缓存,建议我将 spark.storage.fraction 设置为零。如果不进行缓存,spark 不知道重新使用该空间吗?我真的应该告诉它缓存专用空间应该重新用于处理吗?
【问题讨论】:
标签: apache-spark apache-spark-2.0
如果我的 spark 2.x 应用程序不需要缓存,建议我将 spark.storage.fraction 设置为零。如果不进行缓存,spark 不知道重新使用该空间吗?我真的应该告诉它缓存专用空间应该重新用于处理吗?
【问题讨论】:
标签: apache-spark apache-spark-2.0
所以答案是肯定的,spark 2.x 正在重新分配存储和处理之间的堆空间。
【讨论】: