在 tfidf 上训练大型数据集时出现内存错误

Question

我正在尝试训练一个包含 700000 行的大型数据集，其中包含 210+ 百万个单词。我有 8 GB 内存。当我尝试通过 tfidf 训练它时，它给了我记忆错误。有人可以指导我到底做错了什么 这是我的示例训练代码

self.vectorizer = TfidfVectorizer(min_df=0.001, max_df=0.2, norm='l2', analyzer='word')

    self.dim = None

def learn(self, all_clean_text):      

    print('Train feature extractor')
    x = self.vectorizer.fit_transform(all_clean_text).toarray()

    print (x.shape)
    self.dim = x.shape[1]
    print (self.dim)

Answer 1

内存错误意味着所有这些数据都无法放入您的 ram。 700k x 210m 是 1470000 亿，所以自然是太大了。您可以从删除停用词开始，这可以大大减少单词的数量。此外，您可以确保您使用的是 64 位 Python。您也可以使用max_df、min_df 和max_features，但我不确定这是否会有所帮助。