该图主要是笔者准备硕士毕业论文时基于Spark 1.5 所画,新版本Spark 2.X应该有所变化,但大体流程应该相似,可作为读者学习Spark streaming整体执行流程参考。

Spark streaming 执行流程源码图

该执行流程图主要基于receiver模式,对于kafka DirectStream不适用。

相关文章: