【发布时间】：2015-07-30 05:22:02
【问题描述】：
我在CDH-5.4.4 中使用Spark-1.4.1。
我使用rdd.cache() 函数，但它在Spark History WebUI 上的Storage tab 中没有显示任何内容
有人有同样的问题吗？如何解决？
【问题讨论】：
标签： apache-spark rdd cloudera-cdh
【发布时间】：2015-07-30 05:22:02
【问题描述】：
除了强制 RDD 评估（通过操作，如 count），我还必须启用 Spark 选项：
spark.eventLog.logBlockUpdates.enabled=true
顺便说一下，我使用的是 Spark 2.3.0。
【讨论】：
-
这是对我有用的关键部分！谢谢！
您的 RDD 仅在评估后才会被缓存，强制评估（并因此填充缓存）的最常见方法是调用 count 例如：
rdd.cache() // Nothing in storage page yet & nothing cached
rdd.count() // RDD evaluated, cached & in storage page.
【讨论】：
-
我尝试
rdd.count()然后它工作。我用这个 rdd 加入了其他 rdd 但它仍然没有显示在存储页面上。你对这个问题有什么想法吗？ -
所以只是为了确保我理解，在 count() 之后它出现了，然后你将它与另一个 rdd 一起加入并且没有出现？如果你想让它显示出来，你还需要
cache/persist以及强制评估。 -
哦不！当我发布这个问题时，我正在谈论我的情况。我使用
rdd.cache()然后将它与另一个rdd 连接起来。我将结果保存到镶木地板。就我而言，它没有出现。我试过rdd.cache()和rdd.count()。效果很好！ -
好的，很酷 :) 你可以尝试在加入的 RDD 上运行 toDebugString 看看发生了什么