1.1.  RDD的依赖关系

RDD和它依赖的父RDD(s)的关系有两种不同的类型,即窄依赖(narrow dependency)和宽依赖(wide dependency)。

Spark stages和依赖的划分

Spark stages和依赖的划分

1.1.1.  窄依赖

窄依赖指的是每一个父RDD的Partition最多被子RDD的一个Partition使用

总结:窄依赖我们形象的比喻为独生子女  即可以是一对一

多对一

1.1.2.  宽依赖

宽依赖指的是多个子RDD的Partition会依赖同一个父RDD的Partition

总结:窄依赖我们形象的比喻为超生一对多

多对多

Spark stages和依赖的划分

Spark stages和依赖的划分

分析上图有几个stage

宽依赖是划分Stage的依据。每有一个宽依赖的上一个阶段为stage

相关文章:

  • 2021-08-16
  • 2021-06-01
  • 2021-12-12
  • 2021-07-08
  • 2021-09-22
  • 2021-10-29
猜你喜欢
  • 2022-01-11
  • 2021-11-16
  • 2022-01-08
  • 2021-11-26
相关资源
相似解决方案