有没有办法让 pandas read_csv 函数更快答案

【问题标题】：Is there a way to make pandas read_csv function faster有没有办法让 pandas read_csv 函数更快
【发布时间】：2020-03-08 18:46:40
【问题描述】：

目前，我正在处理一个很大的文件（大约 45GB）我正在尝试使用 pandas read_csv 函数加载文件，但是，加载文件需要很长时间。有没有办法加快这个过程？

我正在考虑将文件分成几块并使用多处理加载它们。

或者有更好的方法吗？

编辑：我认为在 read_csv() 中使用 chunksize 参数是最好的选择

【问题讨论】：

【解决方案1】：

您可以使用modin.pandas refer this link 来显示read_csv 的性能差异。

根据我使用 modin 的经验，它比 pandas 快。但还没有尝试过使用 45GB 数据。你可以试试看

你也可以试试Daskclick here

【讨论】：