SparkStreaming数据处理过程

简介

SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如:map, reduce, join, window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。