Fine-Grained Attention Mechanism for Neural Machine Translation

Fine-Grained Attention Mechanism for Neural Machine Translation

1. 在这篇文章中作者提出了一种fine-grained的注意力机制即每一维的context vector将获得一个单独的注意力得分。
2. 作者证明了这种做法的合理性

通过Choi et al.(2017)的文章，对词向量的维度进行contextualization发现词向量的每一个维度都都在context中充当着不同的作用，由于这一观点的启发，作者Choi 和Bengio便提出这种fine-grained的注意力机制。

Background : Attention-based Neral Machine Translation

这部分主要介绍了Bahdanau et al.(2015)提出的注意力机制。

given a source sentence X=(wx1,wx2,...,wxT)$X=(w_1^x,w_2^x,...,w_T^x)$

那么我们的目标函数就是p(Y=(wy1,wy2,...,wyT)|X)$p(Y=(w_1^y,w_2^y,...,w_T^y)|X)$.
解释为：在给定输入条件下，获得某一输出的概率。

在这个模型中包含Encoder,Decoder,and attention mechanism三个部分。

一、Encoder

encoder 通常通过双向循环神经网络来完成。在编码过程开始之前，每一个source word wxt$w_t^x$被映射到一个连续的向量空间中去(所有输入单词的词嵌入矩阵)。

xt=Ex[.,wxt]$$x_t=E^x[.,w_t^x]$$

如果图示的话可以表示为：

将词向量一次输入到Encoder层中。
ht→=Φ→(h→t−1,xt)$\overrightarrow{h_t}=\overrightarrow{\mathrm{\Phi }}({\overrightarrow{h}}_{t-1},x_t)$,
h←t=Φ←(h←t+1,xt)${\overleftarrow{h}}_t=\overleftarrow{\mathrm{\Phi }}({\overleftarrow{h}}_{t+1},x_t)$,

这里的Φ←$\overleftarrow{\mathrm{\Phi }}$可以是LSTM（ Hochreiter and Schmidhuber (1997)）,或者GRU( Cho et al. (2014))）。
在每一个t时刻将正反两个方向的结果concat在一起。

ht=[ht→,h←t]$h_t=[\overrightarrow{h_t},{\overleftarrow{h}}_t]$
这就获得了一个annotation vectors:
C=h1,h2,...,hT$C=h_1,h_2,...,h_T$

二、Decoder

解码层可以模型化为：

p(wyt′|wy<t′),X)$p(w_{t^{\prime }}^y|w_{<t^{\prime }}^y),X)$
在source sentence和前t-1时刻的条件下取到当前标签的分布。
将这些概率相乘就得到了我们的目标概率。
解码层通常用一个单向的RNN：
ht→=Φ→(z→t′−1,yt′−1,ci)$\overrightarrow{h_t}=\overrightarrow{\mathrm{\Phi }}({\overrightarrow{z}}_{t^{\prime }-1},y_{t^{\prime }-1},c_i)$,

三、Attention mechanism

在解码层中维持着一个hidden state zt′$z_{t^{\prime }}$。在每一个t′$t^{\prime }$时刻模型首先用注意力机制fAtt$f_{Att}$对C中的每一个向量进行select ，or weight 。在Bahdanau的注意了机制中fAtt$f_{Att}$是一个前向神经网络，输入分别为前一时刻的解码层的hidden state，和C中的一个向量。在这个前向神经网络中tanh()常常被作为激发函数。

et′,t=fAtt(zt′−1,ht)$e_{t^{\prime },t}=f_{Att}(z_{t^{\prime }-1},h_t)$
这里的得分et′,t$e_{t^{\prime },t}$用softmax来normalized.
at′t=exp(et′,t)∑Tk=1exp(et′,k)$a_{t^{\prime }t}=\frac{exp(e_{t^{\prime },t})}{\sum _{k=1}^{T}exp(e_{t^{\prime },k})}$
再将对每一个annotation vector的weights加起来。
ct′=∑Tt=1at′tht$c_{t^{\prime }}=\sum _{t=1}^T{a}_{t^{\prime }t}{h}_t$

与编码层不同的是这里的yt′−1$y_{t^{\prime }-1}$是上一个目标单词的向量。

这里的ct′$c_{t^{\prime }}$在作为Decoder的一个输入

ht→=Φ→(z→t′−1,yt′−1,ci)$\overrightarrow{h_t}=\overrightarrow{\mathrm{\Phi }}({\overrightarrow{z}}_{t^{\prime }-1},y_{t^{\prime }-1},c_i)$,

Variants of Attention Mechanism

Jean et al.(2015a); Chung et al. (2016a)L，uong et al.(2016)对Bahdanau et al.(2015)的注意力机制做了点改进。

前者将score function 修改成et′,t=fAttY(zt′−1,ht,yt′−1)$e_{t^{\prime },t}=f_{AttY}(z_{t^{\prime }-1},h_t,y_{t^{\prime }-1})$
即加入了上衣时刻的输出值。

Fine-Grained Attention Mechanism

上面无论是Bahdanau的还是后面工作者所做的改进，给定一个query对于每一个context vector 仅得到一个注意力值。如图（a）所示。
作者提出的模型类似于途中的（b）所示。

edt′,t=fdAttY2D(zt′−1,ht,yt′−1)$e_{t^{\prime },t}^d=f_{AttY2D}^d(z_{t^{\prime }-1},h_t,y_{t^{\prime }-1})$

adt′,t=exp(edt′,t)∑Tk=1excp(edet′,k)$a_{t^{\prime },t}^d=\frac{exp(e_{t^{\prime },t}^d)}{\sum _{k=1}^T}excp(e_{e_{t^{\prime },k}}^d)$
c′t=sum∑Tt=1at′,t∗ht$c_t^{\prime }=sum\sum _{t=1}^T{a}_{t^{\prime },t}\ast h_t$

这里的改变是讲aligment结果进行softmax后与每一个annotation vector做Hadamard 乘积，这样就将annotation vector的每一个维度独立开来进行注意力机制的描述。

[1] Fine-grained attention mechanism for neural machine translation