使用 pandas 缓存 CSV 读取数据以进行多次运行

Question

我正在尝试将机器学习（带有 scikit-learn 的 Python）应用于存储在 CSV 文件中的大数据，大约 2.2 GB。

由于这是一个部分经验性的过程，我需要多次运行脚本，这会导致pandas.read_csv() 函数被一遍又一遍地调用，这需要很长时间。

显然，这非常耗时，所以我想一定有办法让读取数据的过程更快——比如以不同的格式存储或以某种方式缓存。

解决方案中的代码示例会很棒！

Answer 1

我会将已解析的 DF 存储为以下格式之一：

• HDF5（速度快，支持conditional reading / querying，支持多种压缩方式，支持by different tools/languages）
• Feather（extremely fast - 适用于 SSD 驱动器）
• 泡菜（快）

他们都非常快

PS 重要的是要知道你要存储什么样的数据（什么 dtypes），因为它可能会显着影响速度