为什么会有血统?

Lineage定义

Lineage:用来描述不同RDD之间的依赖关系。
RDD在Lineage方面主要分为两种:窄依赖和宽依赖。
那什么是窄依赖和宽依赖呢?
窄依赖:父RDD中的每个分区最多被子RDD的一个分区使用。
宽依赖:父RDD中的每个分区被子RDD中的多个分区使用。

血统解决了什么问题?

在spark的容错机制中,当一个节点宕机了,进行容错恢复时,
对窄依赖来讲:计算时只要把丢失的父RDD相应的分区重新计算即可,其他分区不用计算,不依赖于其他的节点。
spark中的血统
例如:图1,如果RDD_1中的partition3出错丢失了,spark会回溯到partition3的父RDD相应的分区partition3,只需要对RDD_0的partition3进行相应的计算就可以恢复RDD_1的partition3的数据。
对于宽依赖: 如果RDD_1中的partition3丢失出错,由于其父RDD的分区是所有的分区,所以需要回溯到RDD_0,重算RDD_0的所有分区,然后将RDD_1的partition3需要的数据聚集合并为RDD_1的partition3。
spark中的血统

相关文章:

  • 2022-12-23
  • 2021-07-16
  • 2021-04-06
  • 2021-05-27
  • 2021-06-29
  • 2022-02-26
  • 2021-08-30
  • 2021-04-14
猜你喜欢
  • 2021-12-31
  • 2021-09-05
  • 2021-06-20
  • 2021-04-10
  • 2022-12-23
  • 2021-05-05
  • 2022-12-23
相关资源
相似解决方案