什么是使用 RNN 进行神经机器翻译的上下文中的投影层？

【问题标题】：What is projection layer in the context of neural machine translation using RNN?什么是使用 RNN 进行神经机器翻译的上下文中的投影层？
【发布时间】：2020-05-23 09:56:04
【问题描述】：

我读了一篇关于机器翻译的论文，它使用了投影层。投影层解释如下：“附加投影旨在降低编码器输出表示的维度以匹配解码器堆栈维度。”

有谁知道这种架构或如何在 Pytorch 中实现这一层？

论文链接：https://www.aclweb.org/anthology/P18-1008.pdf

模型架构：

【问题讨论】：

标签： python machine-learning pytorch lstm recurrent-neural-network

【解决方案1】：

这是一个标准的线性投影。您可以添加nn.Linear(2 * model_dim, model_dim)，其中model_dim 是RNN 维度。

编码器是双向的，两个方向的一个 RNN 的输出维度为 model_dim。解码器只在前向工作，所以它的状态只有model_dim 维度。它实际上在多头注意力中节省了很多参数，因为它使键和值的投影只有一半大小，因为它们从model_dim而不是2 * model_dim投影。

【讨论】：