【发布时间】:2019-04-24 07:46:20
【问题描述】:
我使用 gensim LDA 主题建模来查找每个文档的主题,并通过比较接收到的主题向量来检查文档之间的相似性。 每个文档都有不同数量的匹配主题,因此向量的比较(通过余弦相似度)是不正确的,因为需要相同长度的向量。
这是相关代码:
lda_model_bow = models.LdaModel(corpus=bow_corpus, id2word=dictionary, num_topics=3, passes=1, random_state=47)
#---------------Calculating and Viewing the topics----------------------------
vec_bows = [dictionary.doc2bow(filtered_text.split()) for filtered_text in filtered_texts]
vec_lda_topics=[lda_model_bow[vec_bow] for vec_bow in vec_bows]
for id,vec_lda_topic in enumerate(vec_lda_topics):
print ('document ' ,id, 'topics: ', vec_lda_topic)
输出向量为:
document 0 topics: [(1, 0.25697246), (2, 0.08026043), (3, 0.65391296)]
document 1 topics: [(2, 0.93666667)]
document 2 topics: [(2, 0.07910537), (3, 0.20132676)]
.....
如您所见,每个向量都有不同的长度,因此不可能在它们之间进行余弦相似度。
我希望输出是:
document 0 topics: [(1, 0.25697246), (2, 0.08026043), (3, 0.65391296)]
document 1 topics: [(1, 0.0), (2, 0.93666667), (3, 0.0)]
document 2 topics: [(1, 0.0), (2, 0.07910537), (3, 0.20132676)]
.....
任何想法如何做到这一点? tnx
【问题讨论】:
标签: python gensim lda topic-modeling cosine-similarity