大型数据集的 TFIDF

Question

我有一个包含大约 800 万篇新闻文章的语料库，我需要将它们的 TFIDF 表示为稀疏矩阵。对于相对较少数量的样本，我已经能够使用 scikit-learn 做到这一点，但我相信它不能用于如此庞大的数据集，因为它首先将输入矩阵加载到内存中，这是一个昂贵的过程。

有谁知道，为大型数据集提取 TFIDF 向量的最佳方法是什么？

Answer 1

文档的长度 共同术语的数量 术语是常见的还是不寻常的 每个术语出现的次数

Answer 2

我使用 sklearn 和 pandas 解决了这个问题。

使用 pandas iterator 在您的数据集中迭代一次并创建一组所有单词，然后在 CountVectorizer 词汇表中使用它。这样，Count Vectorizer 将生成一个稀疏矩阵列表，所有这些矩阵都具有相同的形状。现在只需使用vstack 将它们分组。稀疏矩阵结果与 CountVectorizer 对象具有相同的信息（但单词顺序不同），并适合您的所有数据。

如果考虑时间复杂度，该解决方案不是最好的，但对内存复杂度有好处。我在 20GB 以上的数据集中使用它，

我编写了一个显示属性的 python 代码（不是完整的解决方案），编写了一个生成器或使用 pandas 块在您的数据集中进行迭代。

from sklearn.feature_extraction.text import CountVectorizer
from scipy.sparse import vstack


# each string is a sample
text_test = [
    'good people beauty wrong',
    'wrong smile people wrong',
    'idea beauty good good',
]

# scikit-learn basic usage

vectorizer = CountVectorizer()

result1 = vectorizer.fit_transform(text_test)
print(vectorizer.inverse_transform(result1))
print(f"First approach:\n {result1}")

# Another solution is

vocabulary = set()

for text in text_test:
    for word in text.split():
        vocabulary.add(word)

vectorizer = CountVectorizer(vocabulary=vocabulary)

outputs = [] 
for text in text_test: # use a generator
    outputs.append(vectorizer.fit_transform([text]))


result2 = vstack(outputs)
print(vectorizer.inverse_transform(result2))

print(f"Second approach:\n {result2}")

最后，使用TfidfTransformer。

Answer 3

Gensim 有一个高效的tf-idf model 并且不需要一次将所有内容都保存在内存中。

您的语料库只需要是一个可迭代的，因此它不需要一次将整个语料库保存在内存中。

根据 cmets 的说法，make_wiki script 在笔记本电脑上以大约 50m 的距离在 Wikipedia 上运行。

Answer 4

我相信您可以使用HashingVectorizer 从您的文本数据中获得较小的csr_matrix，然后在其上使用TfidfTransformer。存储 8M 行和数万列的稀疏矩阵并不是什么大问题。另一种选择是根本不使用 TF-IDF - 如果没有它，您的系统可能工作得相当好。

在实践中，您可能需要对数据集进行二次抽样 - 有时系统只需从所有可用数据的 10% 中学习就可以做到这一点。这是一个经验性问题，没有办法提前告诉您哪种策略最适合您的任务。在我确信我需要它们之前，我不会担心扩展到 8M 文档（即，直到我看到学习曲线显示出明显的上升趋势）。

下面是我今天早上正在做的一个例子。您可以看到，随着我添加更多文档，系统的性能趋于提高，但它已经处于似乎没什么区别的阶段。考虑到训练需要多长时间，我认为在 500 个文件上训练它不值得花时间。