如何将 RNN 应用于序列到序列的 NLP 任务？

【问题标题】：How to apply RNN to sequence-to-sequence NLP task?如何将 RNN 应用于序列到序列的 NLP 任务？
【发布时间】：2016-11-29 03:48:33
【问题描述】：

我对 NLP 任务中的序列到序列 RNN 感到很困惑。之前，我已经实现了一些分类任务的神经模型。在这些任务中，模型将词嵌入作为输入，并在网络末端使用 softmax 层进行分类。但是神经模型是如何完成 seq2seq 任务的呢？如果输入是词嵌入，那么神经模型的输出是什么？这些任务的示例包括问答、对话系统和机器翻译。

【问题讨论】：

标签： machine-learning nlp recurrent-neural-network lstm

【解决方案1】：

您可以使用 编码器-解码器 架构。编码器部分将您的输入编码为一个固定长度的向量，然后解码器将此向量解码为您的输出序列，无论它是什么。编码和解码层可以根据您的目标函数（仍然可能涉及 soft-max）联合学习。查看this paper，它展示了该模型如何用于神经机器翻译。此处的解码器会一个一个地发出单词，以生成正确的翻译。

【讨论】：