创建 word2vec 模型 syn1neg.npy 扩展答案

【问题标题】：creating word2vec model syn1neg.npy extension创建 word2vec 模型 syn1neg.npy 扩展
【发布时间】：2017-09-21 03:31:27
【问题描述】：

创建模型时，没有任何扩展完成的模型

.syn1neg.npy

syn0.npy

我的代码如下：

corpus= x+y
tok_corp= [nltk.word_tokenize(sent.decode('utf-8')) for sent in corpus]
model = gensim.models.Word2Vec(tok_corp, min_count=1, size = 32)
model.save('/home/Desktop/test_model')

model = gensim.models.Word2Vec.load('/home/kafein/Desktop/chatbot/test_model')

只有1个模型文件

test_model

我错了哪一部分？

【问题讨论】：

标签： python python-3.x deep-learning word2vec doc2vec

【解决方案1】：

Gensim 的原生 .save() 仅在模型的某些部分大于某个阈值时将其保存到单独的文件中（如 test_model.syn1neg.npy 等）。当它们很小时，它们会被“腌制”到单个模型保存文件中。

所以这里没有问题/错误。如果您开始使用更多单词训练更大的模型，您可能会看到那些其他文件重新出现。（当您这样做时，请务必将它们放在主 test_model 文件旁边，如果将它们复制/移动到其他地方 - 所有文件都需要一起重新load() 模型。）

【讨论】：

如果模型可以更快或立即加载（即使速度较慢），或者有任何其他方法可以保持模型加载，并且当我们有查询时，我们可以调用它。我制作了一个模型，该模型已保存为 3 个单独的文件，即 model.trainables.syn1neg.npy(414.6 mb)、model(30 mb) 和 model.wv.vectors.npy(414.6 mb)。我会正确吗？我也可以一次加载它们并稍后使用它们来查询我的输入吗？至于加载整个模型大约需要 5-10 分钟，并且我将查询保持在一个循环中，该循环在模型被使用一次后开始正常运行。