先看看依赖关系的解释:

spark stage 的理解

如下图,左边的一系列操作,map,filter,union,join操作都是窄依赖,而这一系列的窄依赖,都是转换的过程,并不会触发action,因此,spark会将这些转换放在同一个阶段Stage2中。而宽依赖会触发action,因此作为另一个阶段Stage3



spark stage 的理解

spark stage 的理解

相关文章:

  • 2021-04-13
  • 2021-08-13
  • 2022-12-23
  • 2021-10-21
  • 2021-08-26
  • 2022-12-23
  • 2021-06-27
猜你喜欢
  • 2021-12-02
  • 2021-09-13
  • 2021-07-18
  • 2021-12-08
  • 2021-09-25
  • 2022-12-23
  • 2021-05-14
相关资源
相似解决方案