无法在 Google colab 上加载 spacy 模型“en_core_web_lg”答案

【问题标题】：Unable to load the spacy model 'en_core_web_lg' on Google colab无法在 Google colab 上加载 spacy 模型“en_core_web_lg”
【发布时间】：2019-11-17 12:52:58
【问题描述】：

我在 google colab 中使用 spacy 来构建一个 NER 模型，为此我下载了 spaCy 'en_core_web_lg' 模型使用

import spacy.cli
spacy.cli.download("en_core_web_lg")

我收到一条消息说

✔ Download and installation successful
You can now load the model via spacy.load('en_core_web_lg')

但是当我尝试加载模型时

nlp = spacy.load('en_core_web_lg')

打印以下错误：

OSError: [E050] Can't find model 'en_core_web_lg'. It doesn't seem to be a shortcut link, a Python package or a valid path to a data directory.

谁能帮我解决这个问题？

【问题讨论】：

标签： python nlp google-colaboratory spacy

【解决方案1】：

在使用 Python 3 内核的 colab 上，您应该准备好在一个单元中运行（需要一段时间，但会为您提供有关进度的视觉反馈，与 spacy.cli 不同）

!python -m spacy download en_core_web_lg

然后，*** 重新启动 colab 运行时 *** ！

（要在 colab 菜单中执行此操作，请转到 Runtime > Restart runtime...）。

之后，执行

import spacy
nlp = spacy.load('en_core_web_lg')

应该完美运行。

【讨论】：

重启运行时是的！
这个答案是救命稻草！

【解决方案2】：

我在 google colab 上遇到了类似的问题：

nlp = spacy.load('en_core_web_md')

我怀疑这可能与模型的大小有关。使用 small spacy 模型对我有用。

spacy download en_core_web_sm
nlp = spacy.load('en_core_web_sm')

【讨论】：

【解决方案3】：

在 Google Colab Notebooks 中，您应该import the model as a package。

无论您如何下载和安装模型：

!pip install <model_s3_url> # tar.gz file e.g. from release notes like https://github.com/explosion/spacy-models/releases//tag/en_core_web_lg-2.3.1
!pip install en_core_web_lg
import spacy

您在 Colab 中无权加载具有正常 spacy 用法的模型：

nlp = spacy.load("en_core_web_lg") # not via packages
nlp = spacy.load("/path/to/en_core_web_lg") #not via paths
nlp = spacy.load("en") # nor via shortcut links
spacy.load()

改为导入模型并直接加载：

import en_core_web_lg
nlp = en_core_web_lg.load()

然后按照指示使用：

doc = nlp("This is a sentence. Soon, it will be knowledge.")

【讨论】：

这是现在的正确答案，接受的答案不再有效。

【解决方案4】：

似乎最好的答案在这个帖子上：How to install models/download packages on Google Colab?

import spacy.cli
spacy.cli.download("en_core_web_lg")
import en_core_web_lg
nlp = en_core_web_lg.load()

【讨论】：