为什么会出现内存错误？ Python

Question

我有一个 5gb 的文本文件，我正在尝试逐行读取它。 我的文件格式为：Revieweridpiddatetitlebody 这是我的代码

o = open('mproducts.txt','w')
with open('reviewsNew.txt','rb') as f1:
    for line in f1:
        line = line.strip()
        line2 = line.split('\t')
        o.write(str(line))
        o.write("\n")

但是当我尝试运行它时出现内存错误。我有 8gb 内存和 1Tb 空间，那为什么会出现这个错误？我试图分块阅读它，但我也得到了那个错误。

MemoryError 

Answer 1

更新：

安装 64 位 Python 解决了这个问题。

OP 使用的是 32 位 Python，这就是内存限制的原因。

---

阅读整个 cmets 我认为这可以帮助你。

• 由于要处理数据，因此无法读取块中的文件（如 1024）。
• 改为以多行的形式读取文件，即一次 N 行。
• 您可以在Python中使用yield关键字和itertools来实现上述功能。

总结：一次取N行，处理后再写。

示例代码：

from itertools import islice
#You can change num_of_lines
def get_lines(file_handle,num_of_lines = 10):
    while True:
        next_n_lines = list(islice(file_handle, num_of_lines))
        if not next_n_lines:
            break
        yield next_n_lines


o = open('mproducts.txt','w')

with open('reviewsNew.txt','r') as f1:
    for data_lines in get_lines(f1):
        for line in data_lines:
            line = line.strip()
            line2 = line.split('\t')
            o.write(str(line))
            o.write("\n")
o.close()