神经机器翻译的一种变体

Question

我已经在脑海中处理这个想法很长时间了。因此，在 NMT 中，我们在编码器 seq2seq 阶段传入源语言文本，在解码器 seq2seq 阶段传入目标语言文本，系统学习每个单词与其目标语言单词一起出现的条件概率。例如：P(word x|previous n-words)。我们通过教师强制来训练它。

但是如果我再次将输入句子作为输入而不是目标句子传递给解码器阶段会怎样。在这种情况下它会学到什么？我猜这将学会根据前面的文字预测句子中最可能的下一个单词，对吗？你有什么想法

提前致谢

Answer 1

在这种情况下，您将学习一个将输入符号复制到输出的模型。注意力机制学习编码器和解码器状态之间的身份对应关系是微不足道的。此外，RNN 可以轻松实现计数器。因此，它不会提供任何实际的概率估计，它会将大部分概率质量分配给源句中的相应单词。