gensim：当我加载 Google 预训练的 word2vec 模型时，“Doc2Vec”对象没有属性“intersect_word2vec_format”答案

【问题标题】：gensim: 'Doc2Vec' object has no attribute 'intersect_word2vec_format' when I load the Google pre-trained word2vec modelgensim：当我加载 Google 预训练的 word2vec 模型时，“Doc2Vec”对象没有属性“intersect_word2vec_format”
【发布时间】：2018-10-18 14:52:48
【问题描述】：

当我加载 google 预训练 word2vec 以使用我自己的数据训练 doc2vec 模型时出现此错误。这是我的代码的一部分：

model_dm=doc2vec.Doc2Vec(dm=1,dbow_words=1,vector_size=400,window=8,workers=4)
model_dm.build_vocab(document)
model_dm.intersect_word2vec_format('home/xxw/Downloads/GoogleNews-vectors-negative300.bin',binary=True)
model_dm.train(document)

但是我收到了这个错误：

“Doc2Vec”对象没有“intersect_word2vec_format”属性

你能帮我解决这个错误吗？我从https://s3.amazonaws.com/dl4j-distribution/GoogleNews-vectors-negative300.bin.gz得到google模型，我的gensim是我认为的最新版本。

【问题讨论】：

标签： word2vec gensim doc2vec

【解决方案1】：

最近的重构使Doc2Vec 不再与此方法共享超类。您也许可以在 model_dm.wv 对象上调用该方法，但我不确定。否则，如果您确实需要该步骤，则可以查看源代码并模仿代码以达到相同的效果。

但请注意，Doc2Vec 不需要词向量作为输入：它可以从您自己的训练数据中学习所需的一切。来自其他地方的词向量是否会有所帮助将取决于很多因素——你自己的数据越大，或者越独特，来自其他地方的预加载向量可能越少，甚至在你自己的训练时有任何残余影响已经完成了。

关于外观设置的其他说明：

dbow_words=1 在dm=1 模式下无效 - 该模式本身就已经训练了词向量。（它只在dm=0 DBOW 模式下有效，如果您需要词向量，它会添加额外的交错词训练。通常纯 DBOW，无需词向量训练，是一种快速有效的选择。）
最近版本的 gensim 需要更多参数来训练，并注意使用此算法的典型已发布工作使用 10-20（或有时更多）传递数据（可以通过 @ 指定给 train() 987654328@ 参数），而不是默认的（在某些版本的 gensim 中）5。

【讨论】：

感谢您的回答，这对您有很大帮助。我将代码更改为： model_dm.wv.load_word2vec_format ，它可以工作。我想尝试预训练 word2vec 的原因是我的训练数据非常有限，大约 5000 个句子，每个句子包含 5-20 个单词。我想使用 SVM 对这个数据集进行文本分类，测试 600 个句子。但是与使用 tf-idf 作为向量相比，结果并没有那么好。精度在 0.65 左右。你对此有什么建议吗？非常感谢。
我不确定 load_word2vec_format() 会做你想做的事 - 它会破坏从 build_vocab() 发现的任何内容，但父 Doc2Vec 模型只会期待原始词汇量和 400 维向量，而那些 GoogleNews 向量是 300 维......所以我不确定会发生什么，并且会出现错误或随机结果。这绝对是一种不受支持的模式，具有未定义的效果。
有了这么小的数据集，我也会尝试（1）获取更多相似的数据，即使它没有标记； (2) 更小size 和更多iter。由于您的主要关注点是分类，您还可以尝试原始的 Facebook FastText 或 StarSpace，在它们的模式中，单词/实体向量被调整为预测类。但总的来说，这么小的数据集对于 Word2Vec/Doc2Vec 技术来说并不是很好，即使你可能会比在更大数据上训练的向量/模型获得一点好处。