gensim docvecs.doctags 不正确的索引

Question

我正在为一个机器学习研究项目处理 Yelp 评论的大型数据集。到目前为止，Gensim 运行良好，但是，当我在我拥有的超过 5,000,000 个文档上使用doc2vec.build_vocab() 构建词汇表时……索引似乎都被收集到一个 64 键字典中（当然不应该是这种情况） .

以下是我为标记文档、构建词汇表和训练模型而编写的脚本。

import os
import time
import pandas as pd
import numpy as np
from collections import namedtuple
from gensim.models.doc2vec import Doc2Vec
from keras.preprocessing.text import text_to_word_sequence

# keras helper function
def text2_word_seq(review):
  return text_to_word_sequence(review, 
       filters='!"#$%&()*+,-./:;<=>?@[\\]^_`{|}~\t\n', 
       lower=True, split=" ")

# instantiate the model
d2v = Doc2Vec(vector_size=300, 
  window=6, min_count=5, workers=os.cpu_count()-1)

chunksize = 5000
train_data = pd.read_json("dataset/review.json",
    chunksize=chunksize,
    lines=True)

Review = namedtuple('Review', 'words tags')
documents = list()
for i, data in enumerate(train_data):
    print("Looked at %d chunks, %d documents" % 
       (i, i*chunksize), end='\r', flush=True)
    users = data.user_id.values
    for j, review in enumerate(data.text):
        documents.append(Review(text2_word_seq(review), users[j]))

# build the vocabulary 
d2v.build_vocab(documents.__iter__(), update=False,
   progress_per=100000, keep_raw_vocab=False, trim_rule=None)

# train the model
d2v.train(documents, total_examples=len(documents), epochs=10)
d2v.save('d2v-model-v001')

保存模型并使用genim.models.Doc2Vec.load() 加载后，模型的docvecs.doctags 长度为64。我在构建词汇表时使用的每个标签都是一个用户ID。它不一定是唯一的，但有数千个用户（不是 64 个）。此外，标签显示为单个字符 - 这不是预期的......

>>> len(x.docvecs.doctags)

64

>>> x.docvecs.doctags

{'Y': Doctag(offset=27, word_count=195151634, doc_count=1727798), 
'j': Doctag(offset=47, word_count=198241878, doc_count=1739169), 
'4': Doctag(offset=17, word_count=195902251, doc_count=1728095), 
'J': Doctag(offset=50, word_count=197884244, doc_count=1741666), 
'W': Doctag(offset=41, word_count=198804200, doc_count=1741269), 
'O': Doctag(offset=23, word_count=196212468, doc_count=1728735), 
'o': Doctag(offset=9, word_count=194177928, doc_count=1709768), 
'n': Doctag(offset=3, word_count=193799059, doc_count=1714620), 
'3': Doctag(offset=34, word_count=197320036, doc_count=1725467), 
'F': Doctag(offset=10, word_count=195614702, doc_count=1729058) ...

我在这里做错了什么？

Answer 1

文本示例的tags 属性应该是标签列表。 （它可以是一个只包含一个标签的列表，但它必须是一个列表。）

如果您改为提供一个字符串，那么对于需要 lis 的代码来说，这看起来就像一个字符串列表。因此，您将只训练少量的单字符标签，每个唯一字符出现在您提供的任何tags 字符串中。