【问题标题】:Latent Dirichlet Allocation Implementation with GensimGensim 的潜在狄利克雷分配实现
【发布时间】:2020-07-21 23:13:35
【问题描述】:

我正在做有关 LDA 主题建模的项目,我使用了 gensim (python) 来做到这一点。我阅读了一些参考资料,它说要获得最佳模型主题,我们需要确定两个参数,即通过次数和主题数量。真的吗?对于 pass 的数量,我们将看到 pass 在哪一点是稳定的,对于 topic 的数量,我们将看到哪个 topic 的值最低。

num_topics = 10
chunksize = 2000
passes = 20
iterations = 400
eval_every = None 

gensim库中的所有参数都需要用到吗?

【问题讨论】:

    标签: machine-learning lda topic-modeling unsupervised-learning perplexity


    【解决方案1】:

    良好的 LDA 模型主要取决于主题的数量。通过次数越多,主题模型就越准确(训练所需的时间也就越长)。

    当然不必使用所有参数。大多数时候,您只会传递所需的参数。要找到最佳主题数,您可以获取 c_v 连贯性值并找到给定网格上的最高连贯性。通常,连贯性是比困惑度更好的度量,因为它更符合人类注释者。

    【讨论】:

    猜你喜欢
    • 2017-04-01
    • 2011-09-08
    • 2017-08-12
    • 2015-10-07
    • 2014-09-24
    • 1970-01-01
    • 2016-10-20
    • 1970-01-01
    • 2019-04-26
    相关资源
    最近更新 更多