【问题标题】:Natural Language Processing Algorithms自然语言处理算法
【发布时间】:2017-01-31 09:10:52
【问题描述】:

我正计划使用 NLP 开发自然语言问题系统。 我已经对适用于 NLQ 系统的可能算法进行了文献研究。

最终用户在完成该工具后,应该能够向系统提出问题,然后系统会以表格的形式给出答案,然后以图表的形式将答案可视化。

另外,答题部分已经结束。使用 PyNLPl 库在 Python 中进行编程。

主要工具已经可以执行数学运算并总结这些运算的结果。用户应该能够提出以下问题:

  • “一月下雨天的销售情况如何?”
  • “整个欧洲的……数量是多少”

这个问题不是主观的,正如我之前提到的,我是研究文学的。 我对找到的算法列表进行了适当的选择。我做出了以下决定:

  • POST、分块、命名实体提取
  • 解析
  • 主题建模和关键字提取。

每个要点的算法是:

  • 条件随机场 - 隐马尔可夫模型
  • CKY 算法 - Earley 算法
  • 潜在狄利克雷分配

此外,问题中应该提到的变量不是独立的。在那种情况下朴素贝叶斯是否也适用? 所选择的算法应该优于其他算法并且是最合适的。

【问题讨论】:

  • 看来你走在了正确的轨道上。您知道自己想要什么,并且知道要完成什么。但是你应该重新考虑你提出这个“问题”的方式,而不是仅仅把你的整个“作业”放在这里,你应该对你的工作提出更尖锐的问题,不要忘记包括你问题的原因和限制 是关于。理想情况下,你会想问一些问题,每个问题都涉及你的“作业”的不同部分,首先缩小你甚至应该使用什么样的方法来完成你的作业,然后弄清楚什么算法等等。
  • 感谢您的提示!您认为在这种情况下删除算法是否明智?我马上改..
  • 这个问题很适合人工智能社区。​​span>

标签: python algorithm nlp


【解决方案1】:

我一直在阅读和阅读,并找到了几乎所有问题的答案。 我坚持使用早期算法,因为它提供了一种动态编程方法(CKY 也是如此)。 两种算法都是图表解析算法。

Earley 是一种上下文无关的自上而下的解析算法。这使其成为目标驱动的算法。从开始符号向下。此外,它比 CKY 算法更有效。 比较幻灯片和解释: https://www.cs.bgu.ac.il/~michaluz/seminar/CKY1.pdf

注意:Earley 和 CKY 解析算法只会生成一棵无能为力的解析树。 但是,使用例如shift-reduce 依存解析算法除了对句子结构进行解析和校准之外,不仅给出了各个词之间的依存关系,这些依存关系还可以用于问题中的关系提取。为了真正理解问题。

【讨论】:

    猜你喜欢
    • 2015-10-28
    • 1970-01-01
    • 1970-01-01
    • 2015-07-23
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-06-28
    • 1970-01-01
    相关资源
    最近更新 更多