在 Python 中处理文件时出现内存错误

Question

我打算根据每行中的键将一个总共约500MB的文件读入一个dict。代码sn-p如下：

f2 = open("ENST-NM-chr-name.txt", "r")   # small amount
lines = [l.strip() for l in f2.readlines() if l.strip()]
sample = dict([(l.split("\t")[2].strip("\""), l) for l in lines])    ## convert [(1,2), (3,4)] to {1:2, 3:4}

在内存为 4GB 的机器上运行时，python 会报内存错误。如果我将sample 变量的求值表达式更改为[l for l in lines]，它可以正常工作。

一开始，我以为是split方法消耗了很多内存，所以我把我的代码调整成这样：

def find_nth(haystack, needle, n):
    start = haystack.find(needle)
    while start >= 0 and n > 1:
        start = haystack.find(needle, start+len(needle))
        n -= 1
    return start

...

sample = dict([(l[find_nth(l, "\t", 4):].strip(), l) for l in lines])

但结果是一样的。

一个新的发现是它可以在没有OOM的情况下正常运行，只要我删除dict()转换而不考虑代码逻辑。

谁能给我一些关于这个问题的想法？

Answer 1

您将创建一个包含每一行的列表，该列表将继续存在，直到 lines 超出范围，然后基于它创建另一个完全不同的字符串的大列表，然后在之前创建一个 dict它可能会内存不足。只需一步构建dict。

with open("ENST-NM-chr-name.txt") as f:
    sample = {}

    for l in f:
        l = l.strip()

        if l:
            sample[l.split("\t")[2].strip('"')] = l

您可以通过使用生成器表达式而不是列表推导来实现大致相同的效果，但（对我而言）感觉更好，而不是 strip 两次。

Answer 2

如果你把你的列表变成一个生成器，你的 dict 变成一个可爱的字典理解：

f2 = open("ENST-NM-chr-name.txt", "r")   # small amount
lines = (l.strip() for l in f2 if l.strip())
sample = {line.split('\t')[2].strip('\"'): line for line in lines}

上面的第 2 行是错误的lines = (l.strip() for l in f2.readlines() if l.strip())

生成器和字典理解可能（以某种方式）减轻内存需求吗？