【问题标题】:fixed-size topics vector in gensim LDA topic modelling for finding similar textsgensim LDA 主题建模中用于查找相似文本的固定大小主题向量
【发布时间】:2019-04-24 07:46:20
【问题描述】:

我使用 gensim LDA 主题建模来查找每个文档的主题,并通过比较接收到的主题向量来检查文档之间的相似性。 每个文档都有不同数量的匹配主题,因此向量的比较(通过余弦相似度)是不正确的,因为需要相同长度的向量。

这是相关代码:

lda_model_bow = models.LdaModel(corpus=bow_corpus, id2word=dictionary, num_topics=3, passes=1, random_state=47)

#---------------Calculating and Viewing the topics----------------------------
vec_bows = [dictionary.doc2bow(filtered_text.split()) for filtered_text in filtered_texts]

vec_lda_topics=[lda_model_bow[vec_bow] for vec_bow in vec_bows]

for id,vec_lda_topic in enumerate(vec_lda_topics):
    print ('document ' ,id, 'topics: ', vec_lda_topic)

输出向量为:

document  0 topics:  [(1, 0.25697246), (2, 0.08026043), (3, 0.65391296)]
document  1 topics:  [(2, 0.93666667)]
document  2 topics:  [(2, 0.07910537), (3, 0.20132676)]
.....

如您所见,每个向量都有不同的长度,因此不可能在它们之间进行余弦相似度。

我希望输出是:

document  0 topics:  [(1, 0.25697246), (2, 0.08026043), (3, 0.65391296)]
document  1 topics:  [(1, 0.0), (2, 0.93666667), (3, 0.0)]
document  2 topics:  [(1, 0.0), (2, 0.07910537), (3, 0.20132676)]
.....

任何想法如何做到这一点? tnx

【问题讨论】:

    标签: python gensim lda topic-modeling cosine-similarity


    【解决方案1】:

    我之前使用gensim 进行主题建模,但我没有遇到过这个问题。理想情况下,如果您通过num_topics=3,那么它会返回每个文档概率最高的前 3 个主题。然后您应该能够通过执行以下操作生成余弦相似度矩阵:

    lda_model_bow = models.LdaModel(corpus=bow_corpus, id2word=dictionary, num_topics=3, passes=1, random_state=47)
    vec_lda_topics = lda_model_bow[bow_corpus]
    sim_matrix = similarities.MatrixSimilarity(vec_lda_topics)
    

    但由于某种原因,如果您获得的主题数量不相等,您可以假设剩余主题的概率值为零,并在计算相似度时将它们包含在您的向量中。

    P.s.:如果您可以提供输入文档的样本,则更容易重现您的输出并对其进行查看。

    【讨论】:

    • 根据gensim.ldamodel的文档:num_topics (int, optional) – The number of requested latent topics to be extracted from the training corpus.如果是这样,这就是我要分文的主题总数而不是前3个。
    • 您是否也检查了此参数:minimum_probability (float, optional) - 概率低于此阈值的主题将被过滤掉?它的默认值为0.01。由于概率低,您的某些主题可能会被过滤掉。
    • 我刚刚找到了这个解决方案,想在这里更新。这正是我正在寻找的解决方案。谢谢
    【解决方案2】:

    正如panktijk 和this topic 在评论中所说,解决方案是将minimum_probability 从默认值0.01 更改为0.0。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2017-11-02
      • 2017-02-19
      • 1970-01-01
      • 2020-12-25
      • 1970-01-01
      • 2016-07-11
      • 1970-01-01
      • 2019-03-31
      相关资源
      最近更新 更多