Keras 有注意力层吗？ [复制]答案

【问题标题】：Is there an attention layer for Keras? [duplicate]Keras 有注意力层吗？ [复制]
【发布时间】：2019-12-27 11:46:56
【问题描述】：

我将为 LSTM 神经网络实现注意力机制。我使用了这一层（https://pypi.org/project/keras-self-attention/），但它增加了错误！也许这是因为我的数据集，但类似的研究在注意力层上得到了更高的准确性。请介绍一下在 Keras 中实现注意力的另一种简单易用的方法？

【问题讨论】：

这里有一个简单的方法来增加关注：stackoverflow.com/questions/62948332/…

标签： python tensorflow keras lstm attention-model

【解决方案1】：

您可以使用 TensorFlow Keras 模块 tf.keras.layers.Attention。假设您使用的是 TensorFlow 2.0。

【讨论】：

感谢 Ekaba。我不清楚此链接中提供的示例。你有在 LSTM 神经网络中实现的例子吗？

【解决方案2】：

注意力不一定总能提高分数。但在处理越来越长的输入时，它们会非常方便。

如果你使用的是 LSTM，我不推荐使用 tf.keras.layers.Attention，因为这个类更适合 CNN、DNN。

只需几行代码，您就可以添加自己的自定义注意力层，如：Custom Attention Layer using in Keras

【讨论】：