使用 Pandas 读取大型文本文件 [重复]答案

【问题标题】：Reading large text files with Pandas [duplicate]使用 Pandas 读取大型文本文件 [重复]
【发布时间】：2014-06-18 03:54:25
【问题描述】：

我一直在尝试使用 read_csv 函数使用 Pandas 读取一些大型文本文件（大小约为 1.4GB - 2GB），但无济于事。以下是我正在使用的版本：

我尝试了以下方法：

df = pd.read_csv(data.txt')

它使 Ipython 崩溃并显示一条消息：Kernel died, restarting。

然后我尝试使用迭代器：

tp = pd.read_csv('data.txt', iterator = True, chunksize=1000)

再次，我收到了 Kernel died, restarting 错误。

有什么想法吗？或者任何其他方式来读取大文本文件？

谢谢！

【问题讨论】：

我的机器上没有出现这个错误，我的配置与你的相似。你有多少 RAM 内存？在我的机器上，Python 需要大约 5GB 的峰值才能使用 pd.read_csv() 读取 2.9 GB 的 csv
@SaulloCastro 我的机器安装了 8GB。它应该能够处理这样的文件大小，因为大多数已安装的 RAM 都可用，我没有运行其他任何东西。

【解决方案1】：

在发布此问题一段时间后，here 提供了类似问题的解决方案。基本上，它建议通过执行以下操作来读取chunks 中的文件：

chunksize = 10 ** 6  # number of rows per chunk
for chunk in pd.read_csv(filename, chunksize=chunksize):
    process(chunk)

您应该根据您机器的能力指定chunksize 参数（即确保它可以处理该块）。

【讨论】：