从检查点重新启动后，Spark 流选项卡消失

Question

我有一个 Spark Streaming 作业在检查点到 S3 的集群 (Spark 1.6) 上运行。当我最初开始工作时，我可以看到“流媒体”选项卡。但是，当我从检查点重新启动作业时，Streaming 选项卡会消失。该作业仍然作为流作业工作，我看到批次以配置的批次间隔出现。见下文。

如果我清除检查点数据，选项卡会返回。我怀疑从检查点重新启动时未正确注册 Streaming 选项卡。

我查看了Spark Streaming code。从检查点反序列化应用程序状态时，是否可能不调用此流程？

有谁知道如何解决这个问题？

Answer 1

如果我清除检查点数据，选项卡会返回。我怀疑 从 检查点。

它被调用，但流选项卡在完成从 S3 检查点位置加载所有数据之前不会出现。如果您的血统很长，则可能需要一些时间来加载。从检查点恢复所有数据后，您会看到流选项卡出现。