如何解决 Python 中的内存错误答案

【问题标题】：How to solve the memory error in Python如何解决 Python 中的内存错误
【发布时间】：2020-06-25 21:38:46
【问题描述】：

我正在处理几个大的 txt 文件，每个文件大约有 8000000 行。这些行的一个简短示例是：

usedfor zipper fasten_coat
usedfor zipper fasten_jacket
usedfor zipper fasten_pant
usedfor your_foot walk
atlocation camera cupboard
atlocation camera drawer
atlocation camera house
relatedto more plenty

将它们存储在字典中的代码是：

dicCSK = collections.defaultdict(list)
for line in finCSK:
    line=line.strip('\n')
    try:
        r, c1, c2 = line.split(" ")
    except ValueError:
        print line
    dicCSK[c1].append(r+" "+c2)

它在第一个 txt 文件中运行良好，但是当它运行到第二个 txt 文件时，我收到错误 MemoryError。

我正在使用带有 python 2.7 32bit、intel i5 cpu、8Gb 内存的 window 7 64bit。我该如何解决这个问题？

进一步解释：我有四个大文件，每个文件包含许多实体的不同信息。例如，我想查找cat、其父节点animal 及其子节点persian cat 等的所有信息。所以我的程序首先读取字典中的所有 txt 文件，然后我扫描所有字典以查找 cat 及其父亲和孩子的信息。

【问题讨论】：

这是你的真实代码吗？我想不是。例如什么是 finCSK？
为什么需要字典中的这些数据？将其放入数据库或类似的存储中，以便您查询它。
@e4c5，我在我的问题中忽略了输入过程，我读取文件，fin打开文件
@DisplayName，我在字典中阅读后需要做更多的事情。所以我的代码中需要它们。
我仍然没有在您的描述中看到任何需要在内存中完成此操作的内容。

标签： python memory

【解决方案1】：

最简单的解决方案：您可能用完了虚拟地址空间（任何其他形式的错误通常意味着在您最终获得MemoryError 之前运行很慢很长时间）。这是因为 Windows（和大多数操作系统）上的 32 位应用程序被限制为 2 GB 的用户模式地址空间（Windows 可以调整为 3 GB，但这仍然是一个低上限）。您有 8 GB 的 RAM，但您的程序不能使用（至少）其中的 3/4。 Python 有相当多的每个对象的开销（对象头、分配对齐等），很可能仅字符串就使用了接近 GB 的 RAM，这是在您处理字典的开销之前，其余的你的程序，Python 的其余部分等。如果内存空间足够碎片，并且字典需要增长，它可能没有足够的连续空间来重新分配，你会得到一个MemoryError。

安装 64 位版本的 Python（如果可以，出于其他原因，我建议升级到 Python 3）；它将使用更多内存，但随后，它将有访问到很多更多的内存空间（以及更多的物理RAM）。

如果这还不够，请考虑转换为 sqlite3 数据库（或其他一些数据库），这样当数据变得对主内存来说太大时，它自然会溢出到磁盘，同时仍然具有相当高效的查找。

【讨论】：

我刚刚安装了一个64位的python。它比我的原始程序运行得更远，但是在我的一半内存（使用了大约 4Gb）之后我仍然得到了memory error。我很奇怪为什么在还有一半内存可用的情况下会发生错误。
@flyingmouse：您是否在没有页面文件的情况下运行？通常，即使您确实使用了物理 RAM，它也应该继续运行（如果更慢），直到页面文件已满。如果没有页面文件，那么调整大小的足够大的字典可能会遇到 4 GB 左右的问题；如果你有足够的数据来达到这个目标，那么我强烈建议切换到数据库（一个简单的数据库，比如sqlite3，它作为 Python 模块提供，或者更强大的数据库，比如 PostgreSQL、MySQL 等）。

【解决方案2】：

假设您的示例文本代表所有文本，那么在我的机器上，一行将消耗大约 75 个字节：

In [3]: sys.getsizeof('usedfor zipper fasten_coat')
Out[3]: 75

做一些粗略的数学运算：

75 bytes * 8,000,000 lines / 1024 / 1024 = ~572 MB

单独存储其中一个文件的字符串大约需要 572 兆。一旦您开始添加其他类似结构和大小的文件，您将很快接近您的虚拟地址空间限制，如@ShadowRanger 的回答中所述。

如果升级你的 python 对你来说不可行，或者如果它只是把罐子踢到路上（毕竟你的物理内存是有限的），你真的有两个选择：在加载之间将结果写入临时文件并读取输入文件，或将结果写入数据库。由于您需要在聚合字符串后进一步对字符串进行后处理，因此写入数据库将是更好的方法。

【讨论】：