如果我只是'vectorizer.transform（phrase）'而不适合它会发生什么？

Question

在将短语向量化并将它们放入矩阵形式时，有些事情让我感到困惑。

当您导入 CountVectorizer 或 TfidfVectorizer 时，

.fit & .transform & .fit_transform 函数有什么区别？

我知道 '.fit' 会学习 ngram，拆分成 ngram。

'.transform' 会将其放入短语 x ngram 矩阵中。

'.fit_transform' 作为 .fit 和 .transform 的组合使用

如果是这种情况，如果我只是 vectorize.transform(phrase) 而不拟合会发生什么？

我看到本教程设置了拟合和转换火车数据，但对于测试数据，它仅对预测执行“转换”操作。

提前谢谢大家。

Answer 1

亮点：

1. .transform(X) = 将字典特征转换为二维特征矩阵。
2. .fit_transform(X) = 学习特征名称 + .transform(X)

回答你的问题：

只有在使用.fit 学习了功能后，您才能.transform。直接应用.transform 将忽略.fit 中未包含的任何特征，因此不会输出任何分类结果。

参考资料：

• 根据http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html#sklearn.feature_extraction.DictVectorizer.transform 中的文档，.transform(X) 将任何dict X（映射feature_name 到feature_values）转换为二维特征矩阵。二维矩阵是向分类器输入条目的正确方法（根据矢量数学）。
• 根据http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.DictVectorizer.html#sklearn.feature_extraction.DictVectorizer.fit_transform，.fit_transform(X,y=None)首先学习输入dict X中的特征名称列表（学习过程的术语称为fitting）其次，应用transform所述的程序在上一段中。