【问题标题】:Creating a simple concept graph from unstructured text using NLP techniques使用 NLP 技术从非结构化文本创建简单的概念图
【发布时间】:2016-02-01 23:29:29
【问题描述】:

我需要解析非结构化文本并将相关概念转换为格式,以便可以合并所有三元组以形成图形。 例如如果我有 2 个句子,比如 A 改进 B 和 B 改进 C,我应该能够创建一个类似的图形

A ---> B(改进) B-----> C(改进)。

如果后来被问到 A 有什么用处,系统应该提供 A 改进 B 和 C 之类的答案。

据我所知,没有直接的库。 我尝试使用 Standford OpenNLP lib 进行 POS 标记,然后是三元组及其组合。然而它导致了很多情况。

最好的方法是什么?本体库解析会有帮助吗?

【问题讨论】:

    标签: nlp ontology opennlp


    【解决方案1】:

    这是一个有趣的问题....我的最爱之一:)

    我曾经做过类似的事情,我采用了混合方法。混合意味着一些部分是 NLP,其他部分是简单的规则。在我的特定情况下,我基于组织实体(使用 NER 提取)生成图表,然后使用动词短语分类器(不基于规则和正则表达式)。所以本质上,我对每个句子都运行了 NER,并得到了一些可靠的组织名称。然后我在同一个句子上运行句子分块器并解析出动词短语。然后我使用了一个简单的关键字->概念正则表达式来对动词短语进行分类。我没有尝试使用句子中每个位置的位置来推断任何类型的图形方向性,所以我只是将 {EntityA,EntityB,VerbPhrases[], VerbCategories[]} 的三元组写入索引。显然,我必须确保我的组织实体与嘈杂句子中的动词短语不同​​,并且我认为句子中的共存足以在两个实体之间创造优势。这只是我所做的一个具体示例,它有缺陷,但在实践中它实际上运行得非常好并且启用了非常强大的搜索。我的方法没有考虑相邻句子的相关性(我使用的数据源通常有冗长的句子),但我确实考虑使用基于接近度的评分技术来分配实际相关性的概率来连接来自附近句子的实体,可能使用段落边界以及另一个帮助验证的启发式方法。

    有很多方法可以“尝试”做到这一点,所有这些方法都会以某种方式吸吮,而且边缘情况会丰富有趣,这与实用主义和您想要实现的目标有关。事实上,我预测共指解决将是您的下一个问题(当句子 A 中的实体在后续句子中被称为他或她......等等),然后您的下一个问题将是跨文档实体分辨率(DocA 中的 Bob 可能是也可能不是 DocB 中的 Bob)。另外,我非常怀疑任何东西都会产生三元组格式,你必须使用 NER 从句子中给你的标记来创建它。

    HTH

    【讨论】:

      猜你喜欢
      • 2017-03-29
      • 1970-01-01
      • 2018-06-21
      • 2010-10-10
      • 2020-07-16
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多