【发布时间】：2016-04-22 00:35:00
【问题描述】：
我正在考虑缓存我的一个 RDD，该 RDD 仅在引发异常并且作业被终止时才需要更长的时间来处理。如果我再次运行该作业，我希望它在失败的地方继续，避免再次处理该 RDD。
这有意义吗？同一个作业是否会启动一个不同的 Spark 上下文而无法找到该缓存的 RDD？
谢谢！
【问题讨论】：
标签： apache-spark
【发布时间】：2016-04-22 00:35:00
【问题描述】：
当 Spark 程序退出时，缓存的数据会丢失。不过，检查点可能是一种选择，因为它将 RDD 保存到磁盘。 Check here进一步解释。
【讨论】：
-
感谢您的回答！ Checkpoint 是一个强大的功能，但我认为它不适合我希望避免在失败后重新计算同一作业的场景。我相信检查点会在作业成功完成后触发另一个作业，而在我的情况下，作业失败了。