用python读写大文件

Question

我有一个包含超过 24,000,000 行的大型 .txt 文件。现在我想做一个字数统计，即计算每个单词及其对应的出现次数，并将它们记录到一个新文件中。这是我尝试运行的代码：

import gensim
class Corpus(gensim.corpora.TextCorpus): 
    def count_tokens(self):
        word_count = 0
        for text in self.get_texts():
            word_count += len(text)
        return word_count
    def get_texts(self): 
        for filename in self.input: 
            yield open(filename).read().split()

def main():
    corpus = Corpus(['somefile.txt'])
    word_count = corpus.count_tokens()
    text = open('somefile.txt').read().split()
    with open('path_to_output', 'w') as f:
        for word, _ in corpus.dictionary.token2id.items():
            num_occur = text.count(word)
            f.write('%s %d\n' % (word, num_occur))

if __name__  == '__main__':
    main()

服务器挂起...我想知道是否还有其他足够的方法可以这样做或我可以做出任何改进？如何用 python 读写非常大的文件？

Answer 1

您的get_texts() 方法是一次读取内存中的一个完整文件。有很多小文件的语料库很好，但如果你有一个巨大的文件，你需要逐行阅读。

from collections import Counter
wordcounts = Counter()

with open("file.txt") as fp:
    for line in fp:
        wordcounts.update(line.split())

Answer 2

你的代码有很多问题：

• 它读取内存中的文件，然后拆分单词，因此它将内存大小加倍（或三倍）
• 它做了两次，首先计算单词的数量，然后计算每个单词的出现次数

我创建了一个简单的示例，没有您的对象和所有对象，在多个文件上使用collections.Counter。 text_file_list 保存文件路径列表。

import collections

c = collections.Counter()
for text_file in text_file_list:
   with open(text_file) as f:
       c.update(word for line in f for word in line.split())

循环文件，并为每个文件更新专用的Counter 字典。文件是逐行读取的，从不完整。所以需要一些时间，但不会占用太多内存。

Answer 3

我会做这样的事情：

words = {}
with open('somefile.txt', 'r') as textf:
    for line in textf.readlines():
        for word in line.split():
            words[word] = words.getdefault(word, 0) + 1

不是很pythonic，但就是这样