如何使用 pandas 数据框从磁盘读取和写入文件？

【问题标题】：How to read and write files from disk using the pandas dataframe?如何使用 pandas 数据框从磁盘读取和写入文件？
【发布时间】：2018-02-25 02:49:24
【问题描述】：

我将处理非常大的数据文件（数 GB）。我将不得不阅读这些文件并写入这些文件。因此，我将无法依靠 RAM 来存储数据，并且需要从磁盘读取和写入文件。

我熟悉 pandas 库提供的 read_csv 和 to_csv 选项。但是，我不确定read csv 函数是读取文件然后将其存储在 RAM 中还是直接从磁盘读取文件。

使用 pandas 从磁盘读取和写入文件的最佳方法是什么？

【问题讨论】：

查看 read_hdf()

标签： python-3.x pandas

【解决方案1】：

pandas.read_csv 会将整个文件读入内存。如果您只需要特定的列，您可以使用usecols 参数来指定列的子集，pandas 将只加载这些列。

由于您的文件不适合内存，您可以使用split 将文件拆分到磁盘上并对块执行所有操作。

一个简单的替代方法是使用来自dask.dataframe 的read_csv 来自dask 库。

来自文档：

A Dask DataFrame is a large parallel dataframe composed of many smaller Pandas dataframes, split along the index. These pandas dataframes may live on disk for larger-than-memory computing on a single machine, or on many different machines in a cluster.

【讨论】：