ACL2017 Enhancing and Combining Sequential and Tree LSTM for Natural Language Inference

论文强调将语法和句法信息相结合，来做NLI任务。
In many problems, syntax and semantics interact closely, as generally phrased in the slogan “the syntax and the semantics work together in tandem” (Barker and Jacobson, 2007), among others.

模型结构如下图：

给定两个句子(a1,...,ala)$(a_1,...,a_{l}a)$ and b=(b1,...,blb)$b=(b_1,...,b_{l}b)$，这里a$a$是premise，b$b$是hypothesis。ai$a_i$和bj$b_j$都是l$l$-维的词向量，可通过预训练得到。目标是预测标签y$y$，来指示a$a$和b$b$的逻辑关系。

BLSTM对于序列a$a$顺序处理，当第i$i$时刻 ai¯$\overline{a_i}$和 第j$j$时刻bj¯$\overline{b_j}$计算如下：

为了构建premise和hypothesis的相关性，构建attention 权重矩阵，其中每个元素为eij$e_{ij}$。例如，在premise中的一个词的hidden state, ai¯$\overline{a_i}$(已经encode了自身和上下文信息),其与hypothesis中的语义相关性定义如下：

ai~$\widetilde{a_i}$ 是 {bj}¯lbj=1${\overline{\{b_j\}}}_{j=1}^{l_b}$的加权求和。即在{bj}¯lbj=1${\overline{\{b_j\}}}_{j=1}^{l_b}$中与ai¯$\overline{a_i}$相关的内容表示为ai~$\widetilde{a_i}$ 。同理公式13也可以类似理解。