SparkStreaming 概念
一般的大型集群和平台, 都需要对其进行监控的需求。
要针对各种数据库, 包括 MySQL, HBase 等进行监控
要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等
要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等
http://spark.apache.org/streaming/
Spark Streaming是一个基于Spark Core之上的实时计算框架，可以从很多数据源消费数据并对数据进行实时的处理，具有高吞吐量和容错能力强等特点。
Spark Streaming的特点
- 易用
可以像编写离线批处理一样去编写流式程序，支持java/scala/python语言。
- 容错
SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。
- 易整合到Spark体系
流式处理与批处理和交互式查询相结合。