训练 Gensim Word2vec 模型的每个句子的最小字数

【问题标题】：Minimum Number of Words for Each Sentence for Training Gensim Word2vec Model训练 Gensim Word2vec 模型的每个句子的最小字数
【发布时间】：2021-08-04 00:23:39
【问题描述】：

假设我有一个短句语料库，其中词数从 1 到 500 左右，平均词数在 9 左右。如果我使用 window=5（这是默认值）训练 Gensim Word2vec 模型，我应该使用所有的句子吗？或者我应该删除字数低的句子？如果是这样，是否有关于最少字数的经验法则？

【问题讨论】：

标签： nlp gensim word2vec hyperparameters

【解决方案1】：

对于 word2vec 算法来说，只有 1 个单词的文本本质上是“空的”：没有相邻的单词，这是所有训练模式所必需的。你可以把它们扔掉，但把它们留在里面也没什么坏处。它们本质上只是无操作。

任何包含 2 个或更多单词的文本都可以有助于训练。

【讨论】：