spark中宽依赖和窄依赖

  • 宽依赖
    父RDD的分区被子RDD的多个分区使用。例如 groupByKey、reduceByKey、sortByKey等操作会产生宽依赖，会产生shuffle
    spark中宽依赖和窄依赖
  • 窄依赖
    父RDD的分区都只被子RDD的一个分区使用。例如map，filter，union等操作就会产生窄依赖。
    spark中宽依赖和窄依赖
    spark中宽依赖和窄依赖
    欢迎关注胖八毛微信技术公众号

相关文章：

  • 2021-12-12
  • 2021-11-16
  • 2022-01-14
  • 2021-08-04
  • 2021-08-30
  • 2021-11-23
猜你喜欢
  • 2021-09-22
  • 2022-01-08
  • 2021-11-26
  • 2022-03-05
  • 2021-07-23
  • 2021-06-01
相关资源
相似解决方案
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode