窄依赖 narrow dependency

map,filter,union ,

join(co-partitioned)制定了父RDD中的分片具体交给哪个唯一的子RDD

并行的,RDD分片是独立的。

只依赖相同ID的分片

range分片

one to dependency

range dependency

内部可以previously computed partition

可以将计算合并,可以极大的提升效率,编写的时候可能是多个函数,执行的时候合并成一个函数,极大的减少了零碎内存或磁盘资源。

 

宽依赖

groupByKey,join with inputs not co-partitioned

多个子RDD的分片会依赖同一个父RDD分片

或者说同一个父RDD的分片都有多个子RDD的分片使用。

会产生shuffle。

shuffle dependency

【hash shuffle,sort shuffle】

 

Spark RDD 的宽依赖和窄依赖 -- (视频笔记)

 

相关文章:

  • 2021-11-26
  • 2022-01-15
  • 2021-11-16
  • 2022-03-05
  • 2021-07-23
  • 2022-12-23
  • 2021-09-22
猜你喜欢
  • 2021-09-01
  • 2022-01-14
  • 2021-07-08
  • 2022-12-23
  • 2021-07-10
  • 2022-01-15
  • 2022-01-08
相关资源
相似解决方案