【发布时间】：2018-11-08 12:46:03
【问题描述】：
我正在尝试实现 RNN 自动编码，我想知道注意力是否会改善我的结果。
我的最终目标是构建一个文档相似度搜索引擎，我正在寻找对文档进行编码的方法。
由于我对训练解码器而不是编码器感兴趣，因此注意力是否会为该过程增加价值？
【问题讨论】：
标签： text nlp rnn autoencoder sentence-similarity
【发布时间】：2018-11-08 12:46:03
【问题描述】：
随着序列的长度增加到超过 RNN 的容量限制，性能将不断下降。
注意力机制允许 RNN 逐步关注最佳子序列，因此在最佳场景中，性能不会受到序列最大长度的限制。注意力模型在语言翻译等 NLP 应用中的有效性得到了很好的证实。
在这种情况下，必须考虑一个权衡：整个注意力模型使用梯度下降进行端到端训练。注意力权重形成一个形状为(len(input_seq), len(output_seq)) 的矩阵，并且训练它们具有二次运行时间。因此，在以下情况下，注意力将是最有用的：
- 序列太长，常规 RNN 设置的容量无法处理
- 序列不是很长，以至于二次运行时不值得。
无论如何，都有积极的研究来减少该运行时间。有关论文参考和更多信息，我建议您查看Andrew Ng's Coursera in deep sequence modelling 第 3 周的视频（免费访问）。该课程还涵盖了注意力模型的 Keras 实现，并带有一些漂亮的图。
希望这会有所帮助！干杯，
安德烈斯
【讨论】：