Spark Streaming 清理 RDD 检查点目录

【问题标题】：Spark Streaming Cleaning RDD checkpoint directoriesSpark Streaming 清理 RDD 检查点目录
【发布时间】：2017-12-23 22:13:25
【问题描述】：

我们有来自 kafka 的 spark 流在 HDFS 服务器中创建检查点并且它没有被清理，现在我们在 HDFS 中有数百万个检查点。有没有办法从火花中自动清洁它？

Spark 版本 1.6 HDFS 2.70

【问题讨论】：

【解决方案1】：

val conf = new SparkConf().set("spark.cleaner.referenceTracking.cleanCheckpoints", "true")

不应该对所有检查点自动进行清理，有必要在 Spark 调用中保留它们。因为 Spark Streaming 将中间状态数据集保存为检查点并依赖它们从驱动程序故障中恢复。

【讨论】：

谢谢，但是我看到了检查点以外的随机数据，并且没有清除它，你知道那是什么吗？在上面的问题中添加了一张图片
其实spark job的最后一个checkpoint是不会被清理的，即使你设置了--conf spark.cleaner.referenceTracking.cleanCheckpoints=True