关键词
real natural language traning data, nerual model
来源
Teaching Machines to Read and Comprehend
arXiv 2015.06.10 (published at NIPS 2015)
问题
针对阅读理解缺乏大规模训练数据集，从CNN和Daily Mail获取数据，构建了相应的数据集。文章直接做document，关键点和总结用来做query。为了方便数据使用，将人名全部替换为”ent123”类似的样子。然后尝试利用神经网络模型解决机器阅读理解问题。
要解决的问题
1.片段主义分析(Frame-Semantic Parsing)
即判断“who did what to him”。
2.词距判断（word distance Benchmark）
使用模型
Deep LSTM Reader
该模型重新设计LSTM公式，如下：
其中的的”||”表示连接两个向量，”|||”代表query和document的分隔符
Attentive Reader
u(query)由最后一个正向lstm输出和最后一个逆向lstm输出拼接而成。
r(document)的计算公式如下：
r是y*s的和累积。
g的计算公式如下：
Impatient Reader
u(query)由最后一个正向lstm输出和最后一个逆向lstm输出拼接而成。
r(document)计算公式如下：
与Attentive Reader区别是，每个query词都算一个r。
g计算公式如下：
实验结果及结论
文章提供新的较大的数据集，并且指出 CNN 语料要比 Daily Mail 阅读理解难度要低一些。