本文主要介绍CMU在2016年发表在ACL的一篇论文：Hierarchical Attention Networks for Document Classification及其代码复现。
该论文是用于文档级情感分类（document-level sentiment classification）的，其模型架构如下：
整个网络结构包括四个部分：
1）词序列编码器
2）基于词级的注意力层
3）句子编码器
4）基于句子级的注意力层
整个网络结构由双向GRU网络和注意力机制组合而成，具体的网络结构公式如下：
词序列编码器
给定一个句子中的单词 ，其中 i 表示第 i 个句子，t 表示第 t 个词。通过一个词嵌入矩阵
将单词转换成向量表示，具体如下所示：
接下来看看利用双向GRU实现的整个编码流程：
最终的
词级的注意力层
注意力层的具体流程如下：
上面式子中， 是
的隐层表示，
是经 softmax 函数处理后的归一化权重系数，
是一个随机初始化的向量，之后会作为模型的参数一起被训练，
就是我们得到的第 i 个句子的向量表示。
句子编码器
也是基于双向GRU实现编码的，其流程如下:
公式和词编码类似，最后的 也是通过拼接得到的
句子级注意力层
注意力层的流程如下，和词级的一致
最后得到的向量 就是文档的向量表示，这是文档的高层表示。接下来就可以用可以用这个向量表示作为文档的特征
分类
Reference
用于文本分类的多层注意力模型（Hierachical Attention Nerworks）
达观数据曾彦能：如何用深度学习做好长文本分类与法律文书智能化处理