从存储桶读取时的火花分区数 - S3 - GCS

Question

S3 和 GCS 不是与 HDFS 相反的块存储，因此 Spark 在从这些源读取数据时创建分区的方式对我来说不是很清楚。 我现在正在从 GCS 读取数据，但我得到了 2 个用于小文件（10 字节）的分区，以及 100 MB 的中文件。

有人解释吗？

Answer 1

通常它是一个配置选项，“关于分区大小的谎言有多大”。