用于文本分类的词嵌入 [关闭]

Question

我是 NLP 社区的新手，需要更多了解。

我看到 Keras 有一个 Embedding 层，一般用在 LSTM 层之前。但是它背后隐藏着什么算法呢？是 Word2Vec、Glove 还是其他？

我的任务是一个有监督的文本分类问题。

Answer 1

嵌入层是一个随机初始化的矩阵，维度为(number_of_words_in_vocab * embedding_dimension)。 embedding_dimension 是自定义维度，是我们必须选择的超参数。

在这里，嵌入在反向传播期间更新，并从您的任务和特定任务的语料库中学习。

但是，word2vec、glove 等预训练嵌入是在庞大的语料库上以无监督的方式学习的。预测试嵌入为该嵌入层提供了良好的初始化。因此，您可以使用预训练的嵌入来初始化此嵌入层，还可以选择是要冻结这些嵌入还是在反向传播期间更新这些嵌入。