窄依赖: Narrow Dependency。一个RDD,对它的父RDD只有简单的一对一的依赖关系,也就是说RDD的每个partition仅仅依赖于父RDD中的一个partition,父RDD和子RDD的partition之间的对应关系是一对一的;
宽依赖: Shuffle Dependency。本质就是Shuffle。也就是说每一个父RDD的partition中的数据,都有可能传输一部分,到下一个RDD的每个partition中,此时就会出现,父RDD和子RDD之间是宽依赖,同时,他们之间发生的操作就是ShuffleSpark 学习笔记----宽依赖与窄依赖深度剖析

相关文章:

  • 2021-11-26
  • 2021-08-04
  • 2021-08-30
  • 2021-11-23
  • 2022-12-23
  • 2021-11-16
  • 2021-09-22
猜你喜欢
  • 2021-11-02
  • 2021-04-07
  • 2021-07-18
  • 2021-07-23
  • 2022-03-05
  • 2021-09-01
  • 2022-01-08
相关资源
相似解决方案