LSTM - 使用 word2vec 完成句子答案

【问题标题】：LSTM - sentence completion with word2vecLSTM - 使用 word2vec 完成句子
【发布时间】：2018-06-27 11:04:52
【问题描述】：

我想创建一个模型，可以预测句子中缺少的单词（句子有一个需要填充的整体）

我的数据集由 ~1000 个句子组成，最短的句子长度=6，最长的句子长度 ~120000。数据集的词汇量只有90。

模型具有 onehot 编码或预训练的 word2vec (gensim) 模型是否会产生巨大差异？我在 keras 嵌入层中使用预训练的权重：“冻结”（不可训练）该层的意义是什么，因为它对我的情况的准确性没有任何影响？

我尝试了两种表示方法，但我的测试数据的准确性似乎没有区别。我达到的最高准确率是正确预测的 55%。

我是在正确的轨道上还是执行该任务的方法错误？我的机器很慢，这使得参数实验变得非常困难和耗时。

如果您有任何建议或提示，我将不胜感激！

【问题讨论】：

标签： keras deep-learning lstm prediction word2vec

【解决方案1】：

会有所不同吗？ 是的，当然，但仅限于您词汇表中的 90 个单词。将 word2vec 与冻结一起使用的优势在于，您的模型可以用它以前见过但可能与它所训练的内容相似的词填充句子。

什么是冻结感？ Word2vec 接受了数百万个标记的训练，但您的数据集中只有 90 个。因此，如果您不冻结您的模型，则只会修改 90 个可能失去与其他词的关系的词。例如，如果您有 television 但没有 TV，则 television 的含义可能会相对于 TV 发生变化，具体取决于你的数据集。

【讨论】：