【问题标题】：Drop spark dataframe from cache从缓存中删除 spark 数据帧
【发布时间】：2015-11-20 00:42:10
【问题描述】：

我正在使用带有 python api 的 Spark 1.3.0。在转换庞大的数据帧时，我缓存了许多 DF 以加快执行速度；

df1.cache()
df2.cache()

一旦某些数据帧的使用结束并且不再需要，我如何从内存中删除 DF（或取消缓存它？？）？

例如，df1 用于整个代码，而df2 用于少量转换，之后就不再需要它。我想强行删除df2 以释放更多内存空间。

【问题讨论】：

【解决方案1】：

只需执行以下操作：

df1.unpersist()
df2.unpersist()

Spark 自动监控每个节点上的缓存使用情况并退出以最近最少使用 (LRU) 方式的旧数据分区。如果你想手动移除一个 RDD 而不是等待它掉落从缓存中取出，使用 RDD.unpersist() 方法。

【讨论】：

【解决方案2】：

如果数据框注册为用于 SQL 操作的表，例如

df.createGlobalTempView(tableName) // or some other way as per spark verision

然后可以使用以下命令删除缓存，off-course spark也会自动删除

火花 >= 2.x

这里spark是SparkSession的一个对象

从缓存中删除一个特定的表/df
 spark.catalog.uncacheTable(tableName)
从缓存中删除所有表/dfs
 spark.catalog.clearCache()

火花

从缓存中删除一个特定的表/df
 sqlContext.uncacheTable(tableName)
从缓存中删除所有表/dfs
 sqlContext.clearCache()

【讨论】：

【解决方案3】：

【讨论】：

火花 从缓存中删除一个特定的表/df sqlContext.uncacheTable(tableName) 从缓存中删除所有表/dfs sqlContext.clearCache()