我有一个产品数据集的 TF-IDF 矩阵：
tfidf = TfidfVectorizer().fit_transform(words)
words 是描述列表。这会产生一个 69258x22024 矩阵。
现在我想在新产品和矩阵中的产品之间找到 余弦相似度，因为我需要找到最相似的 10 个产品。我使用上面相同的方法对其进行矢量化。
但是，我不能将矩阵相乘，因为它们的大小不同（新的应该是 6 个字，所以是 1x6 矩阵），所以我需要制作一个 TFIDFVectorizer，其列数与原始的一样。
我该怎么做？
【问题讨论】：
标签： python machine-learning scikit-learn tf-idf
我已经找到了一种工作方式。您需要先将新文档拟合到语料库 TFIDF 矩阵，而不是使用 fit_transform，如下所示：
queryTFIDF = TfidfVectorizer().fit(words)
现在我们可以使用 transform 函数将此向量“转换”为该矩阵形状：
queryTFIDF = queryTFIDF.transform([query])
其中 query 是查询字符串。
然后我们可以找到余弦相似度并找到 10 个最相似/相关的文档：
cosine_similarities = cosine_similarity(queryTFIDF, datasetTFIDF).flatten()
related_product_indices = cosine_similarities.argsort()[:-11:-1]
【讨论】：
我认为words 变量是模棱两可的。我建议你将words 重命名为corpus。
实际上，您首先将所有文档放入corpus 变量中，然后再计算您的余弦相似度。
这里是一个例子：
tf_idf.py：
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity
corpus = [
'This is the first document.',
'This is the second second document.',
'And the third one.',
'Is this the first document?',
]
vectorizer = TfidfVectorizer()
tfidf = vectorizer.fit_transform(corpus)
words = vectorizer.get_feature_names()
similarity_matrix = cosine_similarity(tfidf)
在您的 ipython 控制台中执行该操作：
In [1]: run tf_idf.py
In [2]: words
Out[2]: ['and', 'document', 'first', 'is', 'one', 'second', 'the', 'third', 'this']
In [3]: tfidf.toarray()
Out[3]:
array([[ 0. , 0.43877674, 0.54197657, 0.43877674, 0. ,
0. , 0.35872874, 0. , 0.43877674],
[ 0. , 0.27230147, 0. , 0.27230147, 0. ,
0.85322574, 0.22262429, 0. , 0.27230147],
[ 0.55280532, 0. , 0. , 0. , 0.55280532,
0. , 0.28847675, 0.55280532, 0. ],
[ 0. , 0.43877674, 0.54197657, 0.43877674, 0. ,
0. , 0.35872874, 0. , 0.43877674]])
In [4]: similarity_matrix
Out[4]:
array([[ 1. , 0.43830038, 0.1034849 , 1. ],
[ 0.43830038, 1. , 0.06422193, 0.43830038],
[ 0.1034849 , 0.06422193, 1. , 0.1034849 ],
[ 1. , 0.43830038, 0.1034849 , 1. ]])
注意：
tfidf 是 scipy.sparse.csr.csr_matrix，to_array 转换为 numpy.ndarray（但成本高，只是在这里轻松查看内容）。你可以这样做：
import numpy as np
print(np.triu(similarity_matrix, k=1))
给：
array([[ 0. , 0.43830038, 0.1034849 , 1. ],
[ 0. , 0. , 0.06422193, 0.43830038],
[ 0. , 0. , 0. , 0.1034849 ],
[ 0. , 0. , 0. , 0. ]])
只看到有趣的相似之处。
见：
http://scikit-learn.org/stable/modules/generated/sklearn.metrics.pairwise.cosine_similarity.html
http://scikit-learn.org/stable/modules/feature_extraction.html#text-feature-extraction
【讨论】：