【问题标题】:Custom NER for identifying products用于识别产品的自定义 NER
【发布时间】:2020-05-01 01:22:34
【问题描述】:

我正在尝试为产品名称及其型号构建一个自定义命名实体提取器。

我的用例包含如下句子: “微软使用产品 ABC-300 并将其与 ASQ 集成”。 上句中提到的产品是:ABC-300和ASQ

我已经尝试过使用 Stanford 和 Spacy NER,两者的准确性都低于预期。

是否有任何包含段落或句子中的产品名称的数据集可用于训练自定义 NER 模型?用于训练的句子可以很简单也可以很复杂。任何类型的数据都是有用的。

任何关于如何用更少的训练数据解决这个问题的线索也将不胜感激。

【问题讨论】:

  • 你找到什么了吗?我即将尝试github.com/etano/productner
  • @Jayadevan,我使用了 Rasa 意图分类,它不是我需要的,但它完成了任务
  • @hawk:您能否详细分享一下您是如何为任务重用意图分类的?

标签: python nlp dataset named-entity-recognition


【解决方案1】:

一种可能的解决方案是使用 TokensRegexNERAnnotator (https://stanfordnlp.github.io/CoreNLP/regexner.html)

这是假设您可以“正则表达式”产品名称

【讨论】:

  • 无法对产品名称使用正则表达式。数据还可能包含公司名称和其他不得被错误标记为产品的实体。
猜你喜欢
  • 2019-01-06
  • 1970-01-01
  • 2017-11-13
  • 1970-01-01
  • 1970-01-01
  • 2018-06-26
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多