【问题标题】:Best model for topic spotting/discovery主题发现/发现的最佳模型
【发布时间】:2011-12-02 10:35:47
【问题描述】:

在简短的非结构化文档中发现主题的最佳模型是什么,例如。短信或推特信息?潜在狄利克雷分配?

【问题讨论】:

    标签: nlp keyword information-retrieval information-extraction topic-modeling


    【解决方案1】:

    LDA 是可用于主题建模的最强模型之一,但将其应用于非常短的文本(例如 Twitter/微博帖子)可能需要一些额外的工作。 this paper 的作者讨论了 LDA 和替代模型,并建议在对其运行主题模型之前聚合多个帖子。

    [注意术语:“主题定位”实际上是监督文档分类的旧同义词。]

    【讨论】:

      【解决方案2】:

      由于数据稀疏且此类文本中的上下文有限,因此对短文本(例如推文)应用主题模型(例如 LDA)更具挑战性。一种方法是在训练 LDA 之前将短文本组合成长伪文档。另一种简单的方法是假设每个文档只有一个主题。

      one-topic-per-documentDirichlet Multinomial Mixture (DMM) 模型(unigrams 的混合)比 LDA 主题模型更适合对短文本或推文进行主题建模。您可以在 jLDADMM 包中找到 LDA 和 DMM 模型的实现。 jLDADMM 还提供文档聚类评估来比较这些主题模型。

      【讨论】:

        【解决方案3】:

        我认为一切都取决于数据。所以你还应该尝试纯 TFIDF、LSI、LDA、kmeans、层次聚类来检测有用的短语、主题。

        【讨论】:

          猜你喜欢
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 2017-09-26
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          • 1970-01-01
          相关资源
          最近更新 更多