【问题标题】:How to apply a sentence-level LDA model using Gensim?如何使用 Gensim 应用句子级 LDA 模型?
【发布时间】:2021-07-23 14:07:31
【问题描述】:

是否可以像 Bao and Datta (2014) 中提出的那样使用 Gensim 应用句子级 LDA 模型?论文is here

其独特之处在于它提出了“每个句子一个主题的假设”(第 1376 页)。这与其他句子级方法不同,后者通常允许每个句子包含多个主题。 “最直接的方法是将每个句子视为一个文档,并将 LDA 模型应用于句子集合而不是文档。” (第 1376 页)。但是,我认为假设一句话处理一个主题更合理。

谢谢!

【问题讨论】:

    标签: python nlp gensim lda


    【解决方案1】:

    您可以运行 Brody & Elhadad (2010) 所称的 local-LDA - 只需将您的文本数据逐句输入 LDA - 如果您将文档拆分为句子,则很容易。但是,LDA 仍然会为每个句子提供一个以上的主题(根据定义,您可以获得所有主题的值,尽管 gensim 的 minimum_probabiliy 默认值为 0.01),这当然与 Bao & 提出的方法不同数据。

    但是,Bao & Datta (2014) 的文章中的supplemental material 包含 C 或 C++(我假设,自述文件中没有说明).exe 以及材料中的使用说明。你可以直接从命令行运行它,或者写一个wrapper for Python(让gensim格式的输出是锦上添花)——如果你这样做了,请分享你的代码,它可能对其他人有帮助。

    【讨论】:

    • 为 Python 写一个包装器很难吗?谢谢。
    • 如果我可以将输出转换为 gensim 格式会很棒,因为我想将主题可视化。您能否提供更多关于如何做到这一点的提示?谢谢!
    • 自定义当然不是五分钟的事情,但是您可以将我链接到的教程作为起点,了解发生了什么,然后甚至可以调整 gensim 的 dtmmodel(即David Blei 的原始 DTM 和 DIM 代码的包装器)。问题是你是否需要。如果您只想可视化结果,您可以对您的数据运行 Bao & Datta 程序,获取该输出,然后在任何您想要的程序中分析和可视化它。
    • 很高兴知道。谢谢!
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2014-04-21
    • 2017-09-06
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-06
    • 2016-09-30
    相关资源
    最近更新 更多