【问题标题】：how to choose the best vector_size for doc2vec?如何为 doc2vec 选择最佳 vector_size？
【发布时间】：2020-08-14 19:26:35
【问题描述】：
我正在比较技术，并想找出对大量文本文档进行矢量化和缩减维度的最佳方法。我已经用 PCA、SVD 和 NMF 测试了 Bag of Words 和 TF-IDF 并缩减了维度。使用这些方法，我可以减少我的数据，并根据解释的方差了解最佳维数。
但是，我想对 doc2vec 做同样的事情，考虑到 doc2vec 本身就是一个降维器，找出我的模型的维数的最佳方法是什么？是否有任何统计方法可以帮助我找到最佳的 vector_size 数量？
提前致谢！
【问题讨论】：
标签：
text
size
document
doc2vec
embedded-documents
【解决方案1】：
没有什么是最好的神奇指标；根据您的数据和目标，您应该尝试一系列维度，以查看在您的特定下游评估中哪些得分较高。
如果使用 doc2vec 实现来提供训练集外文档的推断（例如通过 Python gensim 库中的 .infer_vector() 方法），则可以进行合理的完整性检查以消除非常糟糕的 vector_size 选择（或其他参数）用于重新推断训练集文档的向量。
如果相同文本的重复重新推理通常彼此“接近”，并且与由完整模型训练创建的同一文档的向量相近，则表明该模型至少在自洽的方式。 （如果结果的分布很大，这可能表明存在数据不足、训练时期太少、模型过大/过拟合或其他基础问题的潜在问题。）