如何使用 scikit-learn 中的 tf idf-calculation 函数？

Question

我想使用 scikit-learn 中的 TfidfVectorizer 和相关函数来执行文档分类，但我对它的使用有点困惑（我搜索的其他问题都没有涉及正确的数据格式)。

目前，我的训练数据按以下方式组织：

1. 从语料库中获取单个文本。
2. 规范化、标记化（使用 nltk PunktWordTokenizer）、词干（使用 nltk SnowballStemmer）
3. 过滤掉剩下的低长度和低出现的单词
4. 标记相应的文字

上述完成后，单个文本如下所示（此处的值是随机的，但对应于每个术语的计数/出现次数）：

text = ({"has": 5.0, "love": 12.0, ...}, "Relationships")

而完整的语料库最后看起来像这样：

corpus = [({"has": 5.0, "love": 12.0, ...}, "Relationships"),
          ({"game": 9, "play": 9.0, ...}, "Games"),
          ...,
         ]

如何将这些数据输入TfidfVectorizer()？我是否必须只提供上面的内容（作为字典？作为列表？），还是只提供没有计数的内容？我什么时候提供标签？如果需要，我不介意完全重构我的数据。

不幸的是，关于这个特定函数的文档很少有关于格式化的示例。

Answer 1

这就是你将如何使用TfidfVectorizer（look here 了解更多详情）

>>> from sklearn.feature_extraction.text import TfidfVectorizer
>>> corpus = ['This is the first document.',
              'This is the second second document.',
              'And the third one.',
              'Is this the first document?']
>>> vect = TfidfVectorizer()
>>> X = vect.fit_transform(corpus)
>>> X.todense()

matrix([[ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674],
        [ 0.        ,  0.27230147,  0.        ,  0.27230147,  0.        ,
          0.85322574,  0.22262429,  0.        ,  0.27230147],
        [ 0.55280532,  0.        ,  0.        ,  0.        ,  0.55280532,
          0.        ,  0.28847675,  0.55280532,  0.        ],
        [ 0.        ,  0.43877674,  0.54197657,  0.43877674,  0.        ,
          0.        ,  0.35872874,  0.        ,  0.43877674]])

这是您的文本语料库的数字表示。现在要拟合将文档映射到标签的模型，首先将它们放入目标变量中，标签的长度应该与语料库中的文档数量相匹配：

>>> y = ['Relationships', 'Games', ...]

现在您可以拟合任何模型，例如：

>>> from sklearn.linear_model import SGDClassifier
>>> model = SGDClassifier()
>>> model.fit(X, y)

现在您有了一个可以根据新数据进行评估的拟合模型。预测对新的语料库或文本重复相同的过程。请注意，我使用与以前相同的矢量化器 vect：

X_pred = vect.transform(['My new document'])
y_pred = model.predict(X_pred)

如果您想使用自定义标记器，请使用：

vect = TfidfVectorizer(tokenizer=your_custom_tokenizer_function)