【发布时间】:2022-08-15 11:39:55
【问题描述】:
这是关于 SPACY3.x 上的训练模型的问题。
我在 StackOverflow 上找不到好的答案/解决方案,因此查询。
如果我像 en 模型一样在 spacy 中使用现有模型并想在模型中添加我自己的实体并对其进行训练,假设我在生物医学领域工作,比如病毒名称、形状、长度、温度,温度值等。我不想丢失 Spacy 标记的实体,例如组织名称、国家/地区等。
所有建议表示赞赏。
谢谢
这是关于 SPACY3.x 上的训练模型的问题。
我在 StackOverflow 上找不到好的答案/解决方案,因此查询。
如果我像 en 模型一样在 spacy 中使用现有模型并想在模型中添加我自己的实体并对其进行训练,假设我在生物医学领域工作,比如病毒名称、形状、长度、温度,温度值等。我不想丢失 Spacy 标记的实体,例如组织名称、国家/地区等。
所有建议表示赞赏。
谢谢
有几种方法可以做到这一点。
最好的方法是分别训练自己的模型,然后将两个模型组合在一个管道中,一个在另一个之前。请参阅double NER example project 以了解其概述。
也可以更新预训练的 NER 模型,请参阅this example project。但是,这通常不是一个好主意,如果您要添加完全不同的实体,则绝对不是。您将遇到所谓的“灾难性遗忘”,即使您在技术上更新模型,它最终也会忘记当前训练数据中未表示的所有内容。
【讨论】: