spark从1.6.4版本之后就直接到了2.0版本

下面简单说一下2.0内存管理的变化

在2.0之前,spark内存管理都是用静态管理的方式,主要是分成了三大块,比例为6(存储):2(执行):2(其他),如下图:

 

spark1.6和spark2.0内存管理的对比

 spark1.6和spark2.0内存管理的对比

 

spark2.0内存的管理发生了变化,开始使用统一内存管理,主要结构如下

spark1.6和spark2.0内存管理的对比

spark1.6和spark2.0内存管理的对比

 spark1.6和spark2.0内存管理的对比

storage和execution的动态占用机制 

spark1.6和spark2.0内存管理的对比

相关文章:

  • 2021-11-04
  • 2021-05-06
  • 2021-09-19
  • 2022-01-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-09-16
  • 2021-07-08
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-08-05
相关资源
相似解决方案