深入理解Spark的RDD


RDD全称Resilient Distribution DataSet  弹性的分布式数据集

其内部本身不存储数据,存储的类似于数据位置的指针,表明某个数据的具体位置

当spark集群从hdfs文件系统中读取文件后会把文件映射为一个RDD,这个RDD是逻辑上的概念其内部不存储数据,其中每个RDD的Partition和HDFS文件系统中的block

1、其内部是一系列的partition组成

2、每个函数应用于每一个Partition

3、RDD之间存在依赖关系(当一个RDD丢失后可以通过其上一个RDD计算重新获得)

4、分区器只应用于键值对的RDD上

5、任务分发到最佳位置上







相关文章:

  • 2021-08-17
  • 2021-11-08
  • 2021-12-10
  • 2022-12-23
  • 2022-01-23
  • 2021-09-08
  • 2021-04-18
猜你喜欢
  • 2021-08-22
  • 2022-12-23
  • 2022-12-23
  • 2021-08-07
  • 2021-08-30
  • 2022-12-23
  • 2021-06-07
相关资源
相似解决方案