无法加载韩语预训练的word2vec

Question

我想下载并加载预训练的 word2vec 用于分析韩语文本。

我在这里下载预训练的 word2vec：https://drive.google.com/file/d/0B0ZXk88koS2KbDhXdWg1Q2RydlU/view?resourcekey=0-Dq9yyzwZxAqT3J02qvnFwg 来自 30+ 种语言的 Github 预训练词向量：https://github.com/Kyubyong/wordvectors

我的 gensim 版本是 4.1.0，因此我使用了： KeyedVectors.load_word2vec_format('./ko.bin', binary=False) 加载模型。但是有一个错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0x80 in position 0: invalid start byte

我已经尝试了很多选项，包括在 stackoverflow 和 Github 中，但仍然无法正常工作。 你介意让我找到合适的解决方案吗？

谢谢，

Answer 1

虽然https://github.com/Kyubyong/wordvectors 的页面不清楚作者选择的格式，但请查看其源代码...

https://github.com/Kyubyong/wordvectors/blob/master/make_wordvectors.py#L61

...使用 Gensim 模型 .save() 方法显示它。

此类保存的模型应使用同一模型类的.load() 类方法重新加载。例如，如果 Word2Vec 模型保存为...

model.save('language.bin')

...然后可以重新加载...

loaded_model = Word2Vec.load('language.bin')

请注意：

• 以这种方式保存的模型通常会拆分为多个文件，这些文件应该保存在一起（并且都以相同的根名称开头​​） - 但我在这里看不到这些文件。
• 这项工作似乎有 5 年的历史，基于 Gensim 的 1.0 之前的版本 - 因此将模型直接加载到最新的 Gensim 中可能会出现问题。如果您确实遇到了此类问题，并且绝对需要使这些向量起作用，您可能需要暂时使用 Gensim 的早期版本来.load() 模型。然后，您可以使用 .save_word2vec_format() 保存纯向量，以便以后在任何版本中重新加载。 （或者，使用可以加载模型的最新临时版本，将模型重新保存为.save()，然后使用可以读取那个模型的最新版本重复该过程，直到您到达当前Gensim。）

但是，您可能还想找到一组更新的、记录更好的预训练词向量。

例如，Facebook 在https://fasttext.cc/docs/en/pretrained-vectors.html（仅在 Wikipedia 上训练）或 https://fasttext.cc/docs/en/crawl-vectors.html（在 Wikipedia 和网络爬虫数据上训练）为多种语言提供了“文本”格式和“bin”格式的 FastText 预训练向量)。

“文本”格式实际上应该可以使用KeyedVectors.load_word2vec_format(filename, binary=False) 加载，但只会包含全词向量。 （也可以相对容易地查看为文本，或者编写简单的代码以转换为其他格式。）

“bin”格式是 Facebook 自己的原生 FastText 模型格式，应该可以使用 load_facebook_model() 或 load_facebook_vectors() 实用程序方法加载。然后，加载的模型（或向量）将能够创建 FastText 算法的基于子字符串的猜测向量，即使对于许多不在模型或训练数据中的单词也是如此。