Spark Streaming 每 2 小时被杀死一次答案

【问题标题】：Spark Streaming is killed every after 2 hoursSpark Streaming 每 2 小时被杀死一次
【发布时间】：2014-12-09 23:52:21
【问题描述】：

当我检查工作日志并发现以下错误时，Spark Streaming 应用程序每 2 小时被杀死一次，没有任何日志：

14/11/15 13:53:24 INFO network.ConnectionManager: Removing ReceivingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 INFO network.ConnectionManager: Removing SendingConnection to ConnectionManagerId(ip-xxxxxxxxx,38863)
14/11/15 13:53:24 ERROR network.SendingConnection: Exception while reading SendingConnection to ConnectionManagerI

我还将 spark.cleaner.ttl 的值设置为 10 分钟，但没有运气。

【问题讨论】：

标签： apache-spark spark-streaming

【解决方案1】：

可能流接收器已停止。你在你的代码中使用这样的东西吗？ streamContext.stop(true, true);

如果流接收器停止并且您正在侦听接收器，那么上下文也将停止。

【讨论】：

不，我没有调用停止方法