我是否需要为抽象摘要模型的源词汇和目标词汇创建单独的嵌入矩阵？

Question

我正在开发一个 Seq2Seq 模型，以使用 Glove 预训练的词嵌入来执行抽象摘要。是否需要我制作两个嵌入矩阵？一个涵盖源词汇表，一个涵盖摘要词汇表。

Answer 1

不，通常的做法是共享嵌入矩阵，即使在机器翻译中单词来自不同语言。

有时，在生成模型输出时，嵌入矩阵也用作输出投影矩阵（参见例如Attention is all you need paper），但是，这只有在您使用数万个（子）词的词汇表时才有可能与 GloVe 的庞大词汇量相反。