Spark Streaming的基础抽象DStream

DStream概念
Discretized Stream是Spark Streaming的基础抽象,代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上,DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据,如下图:

Spark Streaming的基础抽象DStream

对数据的操作也是按照RDD为单位来进行的

Spark Streaming的基础抽象DStream

Spark Streaming使用数据源产生的数据流创建DStream,也可以在已有的DStream上使用一些操作来创建新的DStream。
它的工作流程像下面的图所示一样,接受到实时数据后,给数据分批次,然后传给Spark Engine处理最后生成该批次的结果。

Spark Streaming的基础抽象DStream

喜欢就点赞评论+关注吧

Spark Streaming的基础抽象DStream

感谢阅读,希望能帮助到大家,谢谢大家的支持!

相关文章:

  • 2021-10-31
  • 2022-12-23
  • 2021-03-31
  • 2021-10-29
  • 2021-11-03
  • 2021-07-18
  • 2022-01-21
  • 2022-12-23
猜你喜欢
  • 2022-02-16
  • 2022-12-23
  • 2021-12-24
  • 2021-05-28
  • 2021-12-26
  • 2022-12-23
  • 2021-08-25
相关资源
相似解决方案