最近在学习自动聊天机器人相关技术时，从paper中学习到卡内基梅隆大学自动问答组设计开发的模型，也是17年自动问答领域效果最好的模型，该模型的目标判断任意两个问题是否是同一种含义。对该模型的学习简记如下：
释义识别概念
1、两个问题具有相同的语义(二分类)，即如果两个问题的回答完全相同，那么这两个问题是相互释义的。
2、检验检索出来的问题是否是一个输入问题的释义。
模型架构
模型分为四部分：
编码器、注意力对齐、匹配聚合、双预测网络。
该模型利用双向递归神经网络将前提问题编码为短语向量，然后利用注意机制从候选问题中提取软对齐的对应短语嵌入。
最后的相似性得分是基于两个蕴涵方向的聚合短语比较来产生的。
模型是对称的，且参数对于两侧是共享的。即使在中等大小的数据集上也可以有效训练模型参数。
问题数学表达
假如有两个问题句子A和B，A表示为，B表示为
；A问题词个数是
，B问题词个数是
；每个词都在两个句子当中，
和
属于词汇
。
训练集由标签文本对构成，
是二值标签，代表A问题(
)是否是B问题(
)的释义。目标是预测
是否是释义的。
一、编码器
目的：获取每个单词在
上的稠密表示（捕获了上下文词义）
1. 利用混合嵌入矩阵， 将
映射成d维向量；
词嵌入矩阵（由大语料训练得到，训练时会被修正）；
随机初始化的可训练嵌入矩阵。
混合设置的目的是：对嵌入做fine-tune，避免过早偏离预先训练的表示，以识别特定领域的词义语义。
2 .编码器将词嵌入序列转换成上下文向量列表H=，H的大小随着段落的长度而改变。
由两层堆叠双向循环神经网络（BRNN）利用两边的上下文构成。BRNN编码器从两个方向用两个分开的隐藏子层处理数据。表示成：
是LSTM当中的**单元。通过级联两个方向的隐向量
和
来形成当前时间步骤的输出；BRNN的上层把来自下层
的输出作为输入，进一步产生
。最后已编码的上下文向量是嵌入向量和两层输出的和
二、注意力对齐
目的：从另一个句子的编码序列 中收集一个软对齐上下文向量。
1. 计算每对上下文向量基于内容的得分，得分衡量
和
的第j个上下文向量的相关性。
2. 对相关性得分进行归一化，作为注意力权重。
3. 生成软对齐短语向量，是注意力权重和上下文向量的加权和.
三、匹配聚合
给定H和它的软对齐向量，问题简化为比较对齐短语向量序列。
每对对齐向量首先被合并成一个匹配向量；随后由RNN层扫描，最后一个时间戳的输出作为最终的聚合向量。
四、双预测网络
预测网络由两层批处理归一化多层感知机，MaxOut神经元网络，和基于上述匹配聚合向量产生蕴含得分的线性层构成。然而，注意对齐、匹配聚合、预测网络只能检查一个句子的信息是否被另一个句子所覆盖。为了识别释义，我们使用共享网络从两个方向的问题对去计算蕴涵得分。最后，将两个分数相加，然后用Logistic层预测标签P。
参考文献：
Maxout networks.
Long Short-Term Memory.
Glove: Global vectors for word representation.
A Neural Dual Entailment Approach for Question Paraphrase Identification.
A Long Short-Term Memory Model for Answer Sentence Selection in Question Answering.