Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks

主要贡献

1. 提出使用PCNN来自动提取特征。
2. 往PCNN中加入multi-instance learning，用来解决远程监督引发的错误标签问题。
3. 提出分段进行max pooling，从而考虑两个Entity之间的结构特征。

作者提出，之前关于关系分类的方法主要分为2种：
1. 基于特征的方法，这种方式对人工特征向量的要求较高，需要为数据集找出一种合适的特征表示。
2. 基于kernel的方法，这种方式可以对输入进行丰富的表示，例如句法树。它能够通过核函数来提特征，当然也有很多核函数被提出，例如：convolution tree kernel，subsequence kernel，dependency tree kernel

网络架构

以上是PCNN的网络架构，主要分为四部分组成：Vector representation、Convolution、Piecewise max pooling、Softmax classifier.

Vector representation

1. Word Embeddings:采用Wrod2Vec。
2. Position Embeddings:采用当前词到两个目标词的距离，2维。
   上图中展示的Vector representation中，Word Embedding维度为4，Position Embeddings维度为2。向量总维度为d$d$ = 6。

Convolution

作者给出如下定义：
1. 一个feature map的参数为w∈Rw∗d$\mathbf{w}\in {\mathbb{R}}^{w\ast d}$。
2. 一句话中单词的数量为s$s$，一个feature map卷积完得到结果c∈Rs−w+1$\mathbf{c}\in {\mathbb{R}}^{s-w+1}$
3. 定义了n个feature map W={w1,w2,⋯,wn}$\mathbf{W}=\{{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_n\}$,figure3中展示了n=3的情况，因此生成了绿、蓝、橙三个s$\mathbf{s}$。

Piecewise Max Pooling（分段max pooling）

如Figure3所示，Convolution的输出为C∈Rn∗(s+w−1)$\mathbf{C}\in {\mathbb{R}}^{n\ast (s+w-1)}$，作者将每一行卷积结果分成3段{ci1,ci2,ci3}$\{c_{i1},c_{i2},c_{i3}\}$，以两个Entity作为划分点，如图中灰色格子。然后对{ci1,ci2,ci3}$\{c_{i1},c_{i2},c_{i3}\}$分别进行max pooling:

pij=max(cij)1≤i≤n,1≤j≤3$$p_{ij}=max({\mathbf{c}}_{ij})1\le i\le n,1\le j\le 3$$

这样C$\mathbf{C}$的每行会变成长度为3的向量pi={pi1,pi2,pi3}${\mathbf{p}}_{\mathbf{i}}=\{p_{i1},p_{i2},p_{i3}\}$，最终将它们拼成一个长度为3n的向量q$q$,然后使用tanh进行非线性变化得到g=tanh(q)$g=tanh(q)$。

Softmax Output

将g$g$喂入soft max 分类器：

o=W1g+b$$o=W_{1}g+b$$

其中W1∈Rn1∗3n$W_1\in {\mathbb{R}}^{n_1\ast 3n}$是一个权重矩阵，o$o$是最终输出，作者也在这一层加了dropout

Multi-instance Learning

作者将所有的句子分成T个bag{M1,M2,⋯,MT}$\{M_1,M_2,\cdots ,M_T\}$，每个bag中包含qi$q_i$句句子Mi={m1i,m2i，cdots,mqii}$M_i=\{m_i^1,m_i^2，cdots,m_i^{q_i}\}$
算法如下：

损失函数使用交叉熵

实验结果