词汇量 SpaCy 模型“en_core_web_sm”的大小答案

【问题标题】：Size of vocabulary SpaCy model 'en_core_web_sm'词汇量 SpaCy 模型“en_core_web_sm”的大小
【发布时间】：2020-03-02 11:31:13
【问题描述】：

我试图在 SpaCy 小模型中查看词汇中的单词数：

model_name="en_core_web_sm"

nlpp=spacy.load(model_name)

len(list(nlpp.vocab.strings))

它只给了我 1185 个字。我也在同事的机器上试过，结果不同（1198和1183）。

难道只有这么少的词汇量来训练词性标注就应该是这样吗？当我在我的数据集中使用它时，我会丢失很多单词。为什么不同机器的字数不同？

谢谢！

【问题讨论】：

标签： machine-learning nlp data-science spacy

【解决方案1】：

词汇表是动态加载的，因此当您第一次加载词汇表时，StringStore 中没有所有单词。如果您尝试以下操作，您会看到这一点...

>>> import spacy
>>> nlp = spacy.load('en_core_web_sm')
>>> len(nlp.vocab.strings)
1180
>>> 'lawyer' in nlp.vocab.strings
False
>> doc = nlp('I am a lawyer')
>>> 'lawyer' in nlp.vocab.strings
True
>>> len(nlp.vocab.strings)
1182

像这样简单地从原始文件中加载词汇表可能是最简单的..

>>> import json
>>> fn = '/usr/local/lib/python3.6/dist-packages/spacy/data/en/en_core_web_sm-2.0.0/vocab/strings.json'
>>> with open(fn) as f:
>>>     strings = json.load(f)
>>> len(strings)
78930

请注意，上述文件位置适用于 Ubuntu 18.04。如果您使用的是 Windows，则会有一个类似的文件，但位于不同的位置。

【讨论】：