Improving Relation Extraction with Knowledge-attention
attention方法已经被证明有效，但是现在的attetion方法都是数据驱动的
本文提出了，吸收外部知识的attention模型，prior knowledge。
前人工作 ， 基于深度学习的神经网络可以获取更多的语义信息，比起特征方法
纯基于attention的模型，比起rnn效果更好
近期的一片研究表示，吸收外部知识的attention可以降低对数据的依赖并且提升表现
首先从外部语料库生成一个Relation indicators ，这里用的是 FrameNet和 Thesaurus.com
然后是 Knowledge-attention过程，一个query和一系列key比较生成一个权重矩阵。
本文同样实验了multi-head注意力模型，它首先将Q，K和V线性变换h次，然后同时执行h个知识注意力
如上图又半部分
感觉目前的很多方法仍然是在以前的基础上利用attention或其他方法进行变换，对于模型的本质上没有太大改变