处理大量数据

Question

所以我正在使用参数能量模拟，并最终在.CSV 文件中存储了 500GB 以上的数据。我需要能够处理所有这些数据以比较结果并深入了解不同参数的影响。

每个 csv 文件名都包含用于模拟的参数信息，因此我无法合并文件。

我通常使用 pandas 将 .csv 文件加载到 python 并定义一个类。但是现在（有了所有这些数据）没有足够的内存来执行此操作。

您能指出一种处理这些数据的方法吗？我需要能够绘制并比较 csv 文件。

感谢您的宝贵时间。

Answer 1

Convert 将 csv 文件发送到 hdf5，该文件是为处理大量复杂数据集而创建的。它适用于pandas 以及other libraries。