【发布时间】：2016-08-01 08:44:45
【问题描述】：
我在整个应用程序中的 DataFrame 上使用了 cache() 和 persist()。我想知道我是否需要在我缓存的每个数据帧上调用 unpersist() 以释放程序结束时占用的所有内存和磁盘？ spark会自动清理那些职业吗？
谢谢
【问题讨论】：
标签： apache-spark apache-spark-sql spark-dataframe
【发布时间】：2016-08-01 08:44:45
【问题描述】：
一旦 spark 上下文停止，内存将自行释放。
如果你想在停止上下文之前释放内存，那么你必须调用unpersist。
【讨论】：
-
spark 上下文结束时，缓存在磁盘上的数据会像内存中的数据一样被删除。我说的对吗？
-
是的，一旦 spark 上下文停止，磁盘中的数据就会被删除。