大数据计算引擎发展的四个阶段

根据一些公开资料整理，也许有失偏颇，仅供参考：

 

1.第一代

Hadoop 承载的 MapReduce

2.第二代

支持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是批处理任务

3.第三代

Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spark

4.第四代

对流计算的支持，以及更一步的实时性：Flink

 

SparkStreaming VS Flink Streaming