我觉得，注意力机制的核心就是：权重。分配不同权重来体现不同输入对当前计算时的重要程度。
注意力池化：
偏好：
带注意力池化的LSTM，进行指定类别的情感分类：
h是通过LSTM计算出的隐藏层，我们现在要判断在味觉方面的好坏的评价，为每个h向量，拼接一个关于味觉的参数化的查询项，然后通过softmax计算概率，得到的就是每个词对味觉评判时的权重，再乘以没有加关于味觉的参数化的查询项时的h得到进行结果评判的一个向量。
层次注意力池化：
很容易理解的例子：我想理解段落，先理解重要的句子，想理解重要的句子，就要先理解句子中重要的词。
（这也是文本分类的一种思想）
先对词编码，得到词的注意力矩阵，乘之后得到输出向量，作为句子编码的输入，再得到句子的注意力矩阵，乘后得到向量，使用softmax看看属于哪一个分类。
循环注意力池化：
问答系统