加载预训练的词嵌入答案

【问题标题】：Loading pre-trained word embeddings加载预训练的词嵌入
【发布时间】：2019-12-30 07:11:23
【问题描述】：

我正在尝试使用以下命令加载预训练的 word2Vec 模型，但出现 Unicode 错误。需要一些帮助才能深入了解它。我四处搜索，但找不到有效的解决方案。

python -m spacy init-model en /tmp/google_news_vectors --vectors-loc ~/Downloads/GoogleNews-vectors-negative300.bin.gz


UnicodeDecodeError: 'utf-8' codec can't decode byte 0x94 in position 7: invalid start byte

【问题讨论】：

UnicodeDecodeError: 'utf8' codec can't decode byte 0xa5 in position 0: invalid start byte的可能重复

标签： python-3.x word2vec spacy

【解决方案1】：

Spacy 期望向量是文本格式而不是二进制格式：

https://spacy.io/api/cli#init-model

二进制模型的转换方法见：https://stackoverflow.com/a/33183634/461847

【讨论】：