spark实战2-lambda架构

 

 

1.批处理层

特点：

1. 数据不可变（HDFS append only）
2. 可进行任何计算（mapreduce/spark的灵活性）
3. 水平扩展（数据量大）
4. 高延迟（根据计算量和数据量不同，运行时间可能几分钟到几个小时）

 

 

 

 

 

 

 

2.实时处理层

3.服务层 

 

 

 

 

 

 

 

 

参考文献：

【1】Spark大数据互联网项目实战推荐系统（全套）_哔哩哔哩 (゜-゜)つロ 干杯~-bilibili