spark的textFile API 支持读取单个文件,也支持读取文件夹路径并将文件夹路径下的文件都读取进内存处理,前面已经写了一篇关于 【本地/可分割/单个】 文件的分区处理,今天来看下 【本地/可分割/多个】 文件是怎么处理的。

一、简要概述

1、goalSize从单个文件totalSize/minPartitions变成多个文件totalSize/minPartitions,
2、然后依旧是通过goalSize,minSize,blockSize计算出splitSize,
3、最后将splitSize单独应用到每个文件上面,将所有分区加起来就是最后得到的总分区了。

二、分区过程

2.1、读取文件

这里可以看到spark将文件夹下的文件路径都拿到了,并且计算出了所有文件夹的totalSize

【spark2】【源码学习】【分区数】spark读取 本地/可分割/多个 的文件时是如何划分分区

2.2、分割文件,记录切片信息

通过goalSize,minSize,blockSize计算出splitSize
最后将splitSize单独应用到每个文件上面, 使用for外层的一个list来记录所有切片信息

【spark2】【源码学习】【分区数】spark读取 本地/可分割/多个 的文件时是如何划分分区
【spark2】【源码学习】【分区数】spark读取 本地/可分割/多个 的文件时是如何划分分区

三、总结

3.1、跟单个文件的处理方式非常相似,建议先搞清楚单个文件的分区方式
3.2、goalSize是用所有文件的totalSize/minPartitions算出来的
3.3、splitSize是单独应用到每个文件上做切片的,
3.4、最后的分区数并不是简单的所有文件的Roundup(totalSize/splitSize),而是每个文件的Roundup(length/splitSize)得到的splits数相加。

Roundup:向上取整
Rounddown:向下取整

相关文章:

  • 2021-07-20
  • 2021-06-28
  • 2022-01-10
  • 2022-12-23
  • 2021-06-27
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2021-12-05
  • 2021-06-25
  • 2022-02-26
  • 2021-08-22
  • 2021-09-29
  • 2021-09-29
相关资源
相似解决方案