【发布时间】:2020-04-17 10:42:05
【问题描述】:
我对如何将 Doc2Vec(使用 Gensim) 用于 IMDB 情感分类数据集感到困惑。在对我的语料库进行训练后,我得到了 Doc2Vec 嵌入,并使用它构建了我的逻辑回归模型。如何使用它来预测新评论? sklearn TF-IDF 有一个 transform 方法,可以在对训练数据进行训练后用于测试数据,它在 Gensim Doc2Vec 中的等价物是什么?
【问题讨论】:
我对如何将 Doc2Vec(使用 Gensim) 用于 IMDB 情感分类数据集感到困惑。在对我的语料库进行训练后,我得到了 Doc2Vec 嵌入,并使用它构建了我的逻辑回归模型。如何使用它来预测新评论? sklearn TF-IDF 有一个 transform 方法,可以在对训练数据进行训练后用于测试数据,它在 Gensim Doc2Vec 中的等价物是什么?
【问题讨论】:
您是否看过通过 gensim-3.8.1 包含在 gensim 源代码中的演示笔记本,它将Doc2Vec 应用于 IMDB 数据集?
https://github.com/RaRe-Technologies/gensim/blob/3.8.1/docs/notebooks/doc2vec-IMDB.ipynb
【讨论】:
要获取未见过文档的矢量,请使用vector = model.infer_vector(["new", "document"])
然后将vector输入你的分类器:preds = clf.predict([vector])。
【讨论】: