潜在语义索引主题的数量答案

【问题标题】：Number of Latent Semantic Indexing topics潜在语义索引主题的数量
【发布时间】：2014-07-18 03:47:19
【问题描述】：

我正在使用 gensim 的包在语料库上实现 LSI。我的目标是找出语料库中出现频率最高的不同主题。

如果我不知道语料库中的主题数量（我估计从 5 到 20 个不等），那么设置 LSI 应该搜索的主题数量的最佳方法是什么？寻找大量主题（20-30）还是少量主题（〜5）更好？

【问题讨论】：

您可以在此处找到类似问题的创建答案：stackoverflow.com/a/9759218/230636

标签： topic-modeling gensim latent-semantic-indexing

【解决方案1】：

这是一个很好的问题，但不幸的是没有一个好的答案。

总是增加维数是不正确的提高检索准确性。事实上，如果你使用所有维度（=训练矩阵的满秩），LSI 会给你准确的与您输入的文件相同，因此 LSI 将变得毫无意义。

如果你对它的数学方面感兴趣，看看这个问题：https://github.com/piskvorky/gensim/issues/28 否则，就将尺寸设置为几十~几千，这是公认的标准。或者尝试几种不同的选择，测量准确性和选择最适合您的问题的维度。

最好的，拉迪姆

【讨论】：

【解决方案2】：

这就是我有时在困惑时会做的事情。由于您已经将主题范围从 5 到 20 缩小，您可以对其中一些值进行黑白迭代，看看哪个值最适合。

##Declare values for N_TOPICS
for i in lda.show_topics(topics=-N_TOPICS, topn=20, log=False, formatted=True): 
  print "TOPIC {0}: {1}\n".format(count, i)

【讨论】：