优雅地关闭火花结构化流

Question

有一种方法可以通过将属性 spark.streaming.stopGracefullyOnShutdown 设置为 true，然后使用 kill -SIGTERM 命令终止进程来启用 Spark 流的正常关闭。但是，我看不到结构化流（SQLContext.scala）可用的此类选项。

结构化流的关闭过程是否不同？还是根本没有实施？

Answer 1

此功能尚未实现。但 spark 结构化蒸汽的预写日志声称可以毫无问题地恢复状态和偏移量。

Answer 2

此功能尚未实现，如果您在批处理运行时从资源管理器中终止作业，它也会给您重复。

Answer 3

试试这个 github 示例代码。

https://github.com/kali786516/FraudDetection/blob/master/src/main/scala/com/datamantra/spark/jobs/RealTimeFraudDetection/StructuredStreamingFraudDetection.scala#L76

https://github.com/kali786516/FraudDetection/blob/master/src/main/scala/com/datamantra/spark/GracefulShutdown.scala#L26