[EMNLP2017]Adversarial Training for Relation Extraction

多示例学习（multi-instance learning）的概念。在此类学习中，训练集由若干个具有概念标记的包（bag）组成，每个包包含若干没有概念标记的示例。若一个包中至少有一个正例，则该包被标记为正（positive），若一个包中所有示例都是反例，则该包被标记为反（negative）。通过对训练包的学习，希望学习系统尽可能正确地对训练集之外的包的概念标记进行预测，也就是说预测集也是包，对包打上正或负的标签
　　　　　　　　　　　　　　　　　　　　　多示例学习－－－周志华
多标签学习：简单举个例子，一部电影即属惊悚片又属恐怖片，也就是说一个样例可以有多个标签
http://blog.csdn.net/myproudcodelife/article/details/52706210
知乎上给出的multi-label的解释，并另附了很多资料，不妨一看
https://www.zhihu.com/question/35486862
因为该篇文章是多示例多标签的．所以此处先给出基本概念

Adversarial Training增加了模型的鲁棒性并且提高了泛化能力
————————adversarial training————————–
adversarial training 通过对训练数据产生对抗噪声来规范分类算法
由Figure 1， w(j)i$w_i^{(j)}$是句子xi$x_i$的中第j个词
　　　　　　v(j)i$v_i^{(j)}$是赌赢的词w(j)i$w_i^{(j)}$的word_embedding
　　　　　　e(j)i$e_i^{(j)}$是针对词w(j)i$w_i^{(j)}$的perturbations, 语料中每个词对应一个e(j)i$e_i^{(j)}$, 其是随模型训练而得．
不同于以往的神经网络目标函数，adversarial training的目标函数是公式 (2)，由于公式 (2) 中term eadv$e_{adv}$是由公式 (3) 计算所得

由于公式 (3) 难以计算，所以用公式(4)近似所得

这里我们着重给出公式 (4) 中 g 的计算:
假设当前句子是x,　句中每个词对应的word_embedding为{v1$v_1$, v2$v_2$, …, vi$v_i$, …., vn$v_n$}
L(X, θ̂ $\hat{\theta }$) 是当前句子所得的loss
g1$g_1$ = ∂L(X,θ̂ )∂v1$\frac{\mathrm{\partial }L(X,\hat{\theta })}{\mathrm{\partial }{v}_1}$
．．．
gi$g_i$ = ∂L(X,θ̂ )∂vi$\frac{\mathrm{\partial }L(X,\hat{\theta })}{\mathrm{\partial }{v}_i}$

gn$g_n$ = ∂L(X,θ̂ )∂vn$\frac{\mathrm{\partial }L(X,\hat{\theta })}{\mathrm{\partial }{v}_n}$

g = {g1$g_1$, …, gi$g_i$, …, gn$g_n$}，　其中 n 为句子的长度