1.Spark的特点

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

特点1:运行速度快(内存计算,循环数据流、有向无环图设计机制)

3.1 Spark概述

3.1 Spark概述

把所有针对数据集的操作转换成一张有向无环图,整个执行引擎调度都是基于这个有向无环图,对这个有向无环图的后期操作,会进行拆分,分成不同的阶段,每一阶段分成不同的任务,再去分发到不同的机器上去执行。

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

它可以采用特定的方式对它整个里面执行的过程进行优化,比如流水线优化

3.1 Spark概述

特点2:容易使用,Scala可通过spark Shell进行交互式编程

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

特点3:通用性(完整的解决方案,技术软件栈) 

3.1 Spark概述

3.1 Spark概述

特点4:运行模式多样

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

2.Spark与Hadoop的对比

3.1 Spark概述

3.1 Spark概述

MapReduce的缺陷: 

(1)表达能力有限

3.1 Spark概述

(2)磁盘开销大

3.1 Spark概述

(3)延迟高

3.1 Spark概述

 3.1 Spark概述

(4)衔接的IO开销大

3.1 Spark概述

3.Spark的优点

(1)操作类型更多(表达能力更强)

3.1 Spark概述

(2)内存计算(运行速率提升,高效提高迭代运算)

3.1 Spark概述

3.1 Spark概述

(3)避免数据落地

数据不写入磁盘;

形成一个有向无环图,让有向无环图当中的一些操作之间形成流水线优化

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

二、Spark生态系统

1.为什么Spark要建立生态系统?

3.1 Spark概述

三种应用场景需求

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

Spark2.0之后新增了Structured Streaming组件,

 3.1 Spark概述

3.1 Spark概述3.1 Spark概述

3.1 Spark概述

3.1 Spark概述

 Mahout现在是基于Spark的机器学习算法库

 

相关文章:

  • 2022-01-19
  • 2021-08-09
猜你喜欢
  • 2021-10-28
  • 2021-11-22
  • 2021-04-01
相关资源
相似解决方案