SpaCy 3：如何获取用于训练 en_core_web_sm 的原始数据？答案

【问题标题】：SpaCy 3: how to get the raw data used to train en_core_web_sm?SpaCy 3：如何获取用于训练 en_core_web_sm 的原始数据？
【发布时间】：2021-09-07 10:57:02
【问题描述】：

我是 SpaCy 的新手。我注意到在所有 en_core_web 模型的文档中列出了许多 NER 类别：

'CARDINAL', 
'DATE', 
'EVENT', 
'FAC', 
'GPE', 
'LANGUAGE', 
'LAW', 
'LOC', 
'MONEY', 
'NORP', 
'ORDINAL', 
'ORG', 
'PERCENT', 
'PERSON', 
'PRODUCT', 
'QUANTITY', 
'TIME', 
'WORK_OF_ART'

我需要访问用于为每个单词分配正确类别的原始数据。换句话说，标记为'WORK_OF_ART' 的单词列表是什么，这个列表可用吗？

我问这个问题的原因是我想构建一个自定义模型，该模型使用一些默认的 NER 类别以及我自己的类别。

【问题讨论】：

要非常清楚，因为不清楚您是否从您的问题中意识到这一点：训练数据是手工标记的，而不是使用单词列表，因此您不能仅使用单词列表来重现模型. （例如，“Sears”可以是个人或公司，具体取决于上下文。）
@polm23 这肯定有帮助，谢谢。不过，我还没有找到手动标记的数据，我可以从中提取我需要的单词列表。
对于英语，模型在 OntoNotes 5 上进行训练，该工具可从 Language Data Consortium 获得，但价格昂贵。标记词列表不会以任何形式保存在模型中。即使训练数据由带有标记词的句子组成，也没有“词表”。

标签： python nlp spacy named-entity-recognition

【解决方案1】：

根据en_core_web 的哪个变体，数据会有所不同，

Dataset	License	URL	web_sm	web_md	eweb_lg	web_trf
OntoNotes 5	LDC Non-Members	https://catalog.ldc.upenn.edu/LDC2013T19	✓	✓	✓	✓
Wordnet 3.0	WordNet License	https://wordnet.princeton.edu/download	✓	✓	✓	✓
ClearNLP Constituent-to-Dependency Conversion	Apache 2.0	dependency_conversion.md	✓	✓	✓	✓
GloVe Common Crawl	Apache 2.0	https://nlp.stanford.edu/projects/glove/	✕	✓	✓	✕
Roberta Base	???	Fairseq Roberta

https://spacy.io/models/en 中描述的 NER 标记方案来自包含 NER 标记的 OntoNotes，请参阅 https://catalog.ldc.upenn.edu/docs/LDC2013T19/OntoNotes-Release-5.0.pdf 的第 2.6 节

NER标签采用CONLL BIO格式，见https://github.com/yuchenlin/OntoNotes-5.0-NER-BIO，正确阅读时，每个句子应该是一个元组列表，例如Get Stanford NER result through NLTK with IOB format

在使用 Ontonotes 训练 NER 时，还可以查看 https://github.com/flairNLP/flair/，它可能会有所帮助。

【讨论】：