【问题标题】:How to get context out of a (Single) sentence?如何从(单个)句子中获取上下文?
【发布时间】:2019-03-27 15:15:25
【问题描述】:

我对 NLP 还很陌生,

我想实现一个基于python的聚类算法,它将有:

  • 上下文/主题提取 - 从标题声明(可能包含不超过 6-7 个单词)

  • 聚类算法

所以问题是,我有一堆声明(20 个声明 * 每个声明 5-6 个词 = 100-120 个词)都与标题声明相关。并且算法应该能够对它们进行聚类。

对于 (1) - 作为输入,首先我将有一个标题,我想从该标题中提取各种主题,例如:

TITLE : "Problem in Manufacturing Assembly Line" - 我想从中提取类似

1.机械问题

2.电气问题

3.巡线员管理

4.供应链管理问题......

并使用这些提取的主题对这些语句进行聚类。我可以执行聚类的第二个任务,但是如何从包含不超过 6-7 个单词的单个语句中提取主题?

语言:英语

知道如何解决第一个问题吗??

【问题讨论】:

    标签: python machine-learning nlp


    【解决方案1】:

    简短的版本是您需要更多数据。您可以制作一个主题模型(我建议您研究 LDA - 可能是guidedLDA),但您肯定需要更多......好吧一切。首先,6 个不同的文档还远远不够。其次,6 字/文档也不够。您是否有任何理由想从标题而不是完整文档中提取主题 - 因为至少完整文档会有更多单词?

    【讨论】:

    • 感谢您的回答。因为根据从标题中提取的主题,应向最终用户建议标签供他们选择。选定的标签将缩小需要在其中执行聚类的类。但是,是的,替代方法可能是使用整个文本(TITLE+STATEMENTS)来找出类。我也研究了依赖解析器(nlp.stanford.edu/software/lex-parser.shtml),这并不能真正回答我的问题。
    • 我会使用整个文本,您似乎并没有提供仅使用标题的充分理由。文本至少提供了更多的上下文。但实际上,只有 6 个文档是无济于事的。你需要数据。不过,请查看guidedLDA。
    • 谢谢。我去看看。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-04-29
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2016-08-22
    相关资源
    最近更新 更多