注意力机制----RNN中的self-attention

• 对于SimpleRNN来说，要更新当前状态h_1 ：

  • 将“输入”和“上一个时刻状态”拼接

  • 乘以A，加上b，乘以双曲正切函数

• 对于有注意力机制的RNN来说：

  • 将“输入”和“c_0”拼接

  • （剩下都一样）

  • （也可以将三个拼接）

• 每一个c的算法： 注意力权重和状态 做向量内积

• 总结：

  • attention是用在seq2seq模型中的，是encoder做出用于decoder。

  • 而self-attention是用在RNN中，甚至其它各种网络。