在 vanilla 编码器-解码器架构中实现注意力答案

【问题标题】：Implemenet attention in vanilla encoder-decoder architecture在 vanilla 编码器-解码器架构中实现注意力
【发布时间】：2020-08-30 06:18:52
【问题描述】：

我尝试了一个 vanila enc-dec arch 如下（英语到法语 NMT）

我想知道这里如何集成keras attention layer。也欢迎来自keras docs 或来自第三方回购的任何其他关注模块。我只需要集成它，看看它是如何工作的并对其进行微调。

完整代码可用here。

在这篇文章中没有显示任何代码，因为它又大又复杂。

【问题讨论】：

【解决方案1】：

我终于解决了这个问题。我正在通过Thushan Ganegedara 使用第三方注意layer。使用它的注意力层类。并将其集成到我的架构中，如下所示。

【讨论】：