【发布时间】：2017-02-05 09:28:59
【问题描述】：
当我们使用Spark Streaming Direct 方法并且没有指定check point location 时，偏移量将存储在哪里以及如何存储？
使用检查点位置和不指定任何检查点位置真的有区别吗？
如果我不指定检查点位置，是否会丢失任何数据？
【问题讨论】：
-
什么？这太不清楚了。
标签： scala spark-streaming offset
【发布时间】：2017-02-05 09:28:59
【问题描述】：
如果您不检查点，您将无法在您的驱动程序崩溃时恢复。此外，由于没有检查点，Kafka 偏移量不会被检查点，您需要自己手动存储它们。
使用检查点位置和不指定任何检查点位置真的有区别吗？
这句话没有多大意义。如果你不提供检查点目录，就没有检查点，如果你提供了，就会有。要达到恰好一次的语义（如果需要），您需要手动存储偏移量。
【讨论】：