使用小数据集（语料库）的命名实体识别

Question

我想用波斯语开发一个命名实体识别系统，但我们有一个小的 NER 标记语料库用于训练和测试。也许将来我们会有更好更大的语料库。 顺便说一句，我需要一个解决方案，只要添加新数据而不将新数据与旧数据合并并从头开始训练，就可以逐步获得更好的性能。 有什么解决办法吗？

Answer 1

是的。在您的帮助下：这是一项正在进行的工作。是 JS 和“没有培训......”

请看 https://github.com/redaktor/nlp_compromise/！

这是我最近几天在 NER 上工作的一个分支，它将针对不同语言的使用进行优化！！！

它是单词字典、规则字典+构建工具的组合。 从事波斯语支持​​工作会很棒（我正在研究德语）...... 计划支持NER的

• '红衣主教'-> [准备就绪]
• 'DATE' -> 基于日历 [公历已准备就绪]
• 'DURATION' -> 见上文 [日期范围已准备就绪]
• 'MEASURE' -> 基于系统 [公制和 SI 单位就绪，80 多个类别]
• 'MONEY' -> 基于货币 [几天后准备就绪]
• 'PERSON' -> 基于单词/规则 [准备好英文/欧洲名称]
• '组织'
• '位置'

我认为这可能是一个起点？ 我没有时间记录新功能 - 请随时在 github 上打开问题。