如何在pySpark中加载一个大文件然后高效处理？

Question

我存储了一个大文件。我想在 Databricks (pyspark) 中加载和处理这个文件。但是由于文件很大，一次加载整个文件然后处理它会效率低下。所以我想分部分加载这个文件，然后在下一部分加载时同时处理它。那么我怎样才能部分地阅读这个文件呢？ 我想到的一个想法是使用结构化流。但在这方面，整个文件也被单批加载。那么如何分批加载呢？

Answer 1

如果所有数据都位于一个单个文件中，您无法让 Spark 避免扫描整个数据。

在读取数据时，Spark 会根据配置spark.sql.files.maxPartitionBytes 将数据拆分为分区，默认为 128MB。根据得到的分区数以及 Spark 集群中可用的核心数，数据将被并行处理。