Spark上下文和流上下文的组合答案

【问题标题】：Combination of Spark context and streaming contextSpark上下文和流上下文的组合
【发布时间】：2016-06-15 10:18:45
【问题描述】：

我想在流上下文停止后执行一些批处理计算。 (strContext.stop(true,true)

我认为流式上下文的停止将导致相关火花上下文的停止，事实上我收到了关于火花侦听器总线的错误。似乎即使是对 strContext.stop(false,true) 的调用也会导致 spark 上下文的执行停止。

任何人都可以提供流式处理后的批处理计算示例吗？

【问题讨论】：

【解决方案1】：

def stop(stopSparkContext: Boolean, stopGracefully: Boolean): Unit = {
    ...
    if (stopSparkContext) sc.stop()
}

从上面的代码可以看出，如果通过strContext.stop(false)，spark Context不应该停止。

您是否在代码中的其他地方停下来。你能把你的代码贴在这里吗？

【讨论】：