10+ gig 文件读取问题 Python答案

【问题标题】：10+ gig file reading problems Python10+ gig 文件读取问题 Python
【发布时间】：2015-04-22 21:39:42
【问题描述】：

3个文件是逐行读取的，因此：

with open(file) as f:
    for line in f:
        print line

或

for line in open(file):
    print line

逐行尝试了两种阅读器，但是一旦文件大小开始超过 10 GB，python 就会选择尝试将整个文件读入内存...（适用于文件大小

知道为什么吗？

【问题讨论】：

【解决方案1】：

您可以使用可选参数来限制一次可以读取多少个字符：

with open(file, "r") as f:
    line = f.readline(max_chars)
    while line:
        print(line, end='')
        line = f.readline(max_chars)

【讨论】：