在 NER 基本模型之外添加自定义实体

【问题标题】：Add custom entity in addition to NER basic model在 NER 基本模型之外添加自定义实体
【发布时间】：2020-01-12 01:38:25
【问题描述】：

我正在使用 spacy 来训练我自己的 NER 模型。除了由 spacy 基本“en_core_web_sm”模型（ORG、PERSON、DATE 等）训练的实体外，我还想添加自己的实体。我用“en_core_web_sm”作为我的基本模型训练了我的模型，但是该模型只能检测到我自己的自定义实体，而不是基本实体。有没有办法做到这一点？谢谢。

【问题讨论】：

标签： machine-learning nlp spacy named-entity-recognition

【解决方案1】：

您绝对可以使用 spaCy 执行此操作，参见 docs 并围绕“灾难性遗忘”问题检查 Matt's blogpost（当您的模型“忘记”它以前知道的旧类型时，您显然想要避免）。

【讨论】：

谢谢！我试过了，它奏效了。我仍然面临的问题是，如果我使用“en_core_web_sm”作为基础模型训练我的新实体，该模型会丢失很多我的新实体。如果我从头开始训练，它会为新实体提供更好的结果，但该模型错过了很多原始实体。