将大数据文件导入熊猫 [重复]

Question

我有一个 1.5 GB 的 .dat 文件，我需要将其作为 pandas 数据帧导入，我遇到了内存问题（8GB RAM）。如何将 dat 文件分成块进行分析？

Answer 1

pd.read_csv('file.csv', chunksize = x)

返回一个迭代器，一次从file.csv 给出x 行。