如何通过python读取30G parquet文件

Question

我正在尝试从 30G 的大型 parquet 文件中读取数据。我的内存不支持在python中使用fastparquet默认读取，所以不知道应该怎么做才能降低读取过程的内存使用率。

Answer 1

您可以使用 pyarrow 的 iter_batches 以增量方式读取行块。