将 gensim doc2vec 嵌入导出到单独的文件中，以便稍后与 keras 嵌入层一起使用

Question

我对 gensim 有点陌生，现在我正在尝试解决涉及在 keras 中使用 doc2vec 嵌入的问题。我无法在 keras 中找到 doc2vec 的现有实现——据我所见，到目前为止，每个人都只是使用 gensim 来获取文档嵌入。

一旦我在 gensim 中训练了我的 doc2vec 模型，我需要以某种方式将嵌入权重从 genim 导出到 keras 中，但如何做到这一点还不是很清楚。我看到了

model.syn0

据说给出了 word2vec 嵌入权重（根据this）。但目前还不清楚如何对文档嵌入进行相同的导出。有什么建议吗？

我知道通常我可以直接从 gensim 模型中获取每个文档的嵌入，但我想稍后在 keras 中微调嵌入层，因为文档嵌入将用作更大任务的一部分，因此他们可能会被微调一下。

Answer 1

我想通了。

假设您已经训练了 gensim 模型并使用字符串标签作为文档 ID：

#get vector of doc
model.docvecs['2017-06-24AEON']
#raw docvectors (all of them)
model.docvecs.doctag_syn0
#docvector names in model
model.docvecs.offset2doctag

假设您的 DataFrame df 包含所有文档，您可以按如下方式将此文档向量导出到 keras 嵌入层。请注意，在嵌入矩阵中，您只需要传递整数作为输入。我使用数据框中的原始数字作为输入文档的 id。另请注意，嵌入层需要不触及索引 0 - 它保留用于屏蔽，因此当我将 doc id 作为输入传递给我的网络时，我需要确保它是 >0

#creating embedding matrix
embedding_matrix = np.zeros((len(df)+1, text_encode_dim))
for i, row in df.iterrows():
    embedding = modelDoc2Vec.docvecs[row['docCode']]
    embedding_matrix[i+1] = embedding

#input with id of document
doc_input = Input(shape=(1,),dtype='int16', name='doc_input')
#embedding layer intialized with the matrix created earlier
embedded_doc_input = Embedding(output_dim=text_encode_dim, input_dim=len(df)+1,weights=[embedding_matrix], input_length=1, trainable=False)(doc_input)

更新

2017 年末之后，随着 Keras 2.0 API 的引入，最后一行应更改为：

embedded_doc_input = Embedding(output_dim=text_encode_dim, input_dim=len(df)+1,embeddings_initializer=Constant(embedding_matrix), input_length=1, trainable=False)(doc_input)