机器自动翻译在2010年之前采用的是基于统计的方法。比如在英译中的应用中，模型为给定英文句子x x x y y y arg max y P ( y ∣ x ) = arg max y P ( x ∣ y ) P ( y )
\arg \max_y P(y|x)=\arg\max_y P(x|y)P(y)
arg y max P ( y ∣ x ) = arg y max P ( x ∣ y ) P ( y ) P ( y ) P(y) P ( y ) P ( x ∣ y ) P(x|y) P ( x ∣ y ) P ( x ∣ y ) P(x|y) P ( x ∣ y )
有些英语单词没有对应的中文词，比如“Let the sun shine in”=》“让 阳光 照 进来”。这里“the”就没有对应的中文翻译词。
单个英文单词会对应多个中文词，比如"I am unhappy"=>"我 不 开心“，其中“unhappy”就对应了"不"和“开心”两个中文词。
单个中文词会对应多个英文词。比如“Men are not saints"=>"人 非 圣贤“，这里“非”就对应了“are”和“not”两个单词。
多个中文词会对应多个英文词。
英文词会对应不同位置的中文词。
因此，基于统计的模型会对合适的翻译进行大量的搜索操作，也需要提取不同语言的语法特征，因此实现的复杂度较高。
自2014年以来，开始出现RNN的技术，可以完全针对不同的语言采用同一类神经网络去训练。只需要给神经网络学习大量的双语例句，就可以让神经网络自动具备翻译的能力。P ( y ∣ x ) P(y|x) P ( y ∣ x ) P ( y ∣ x ) = P ( y 1 ∣ x ) P ( y 2 ∣ y 1 , x ) … P ( y T ∣ y 1 , . . . , y T − 1 , x )
P(y|x)=P(y_1|x)P(y_2|y_1,x) \dots P(y_T|y_1,...,y_{T-1},x)
P ( y ∣ x ) = P ( y 1 ∣ x ) P ( y 2 ∣ y 1 , x ) … P ( y T ∣ y 1 , . . . , y T − 1 , x ) P ( y T ∣ y 1 , . . . , y T − 1 , x ) P(y_T|y_1,...,y_{T-1},x) P ( y T ∣ y 1 , . . . , y T − 1 , x ) x x x y 1 , . . . , y T − 1 y_1,...,y_{T-1} y 1 , . . . , y T − 1 y T y_T y T 训练 过程。
在实现时，编码器的长度是恒定的。因此，需要预先指定或者算出最长的句子的单词数。然后，再对每个原句进行处理，对于没有达到最大长度的句子全部都填上某个特定的字符串，如<pad>
解码器的长度则是可变的，根据目标句子的长度不同而不同。
上面仅仅讨论了seq2seq的训练模型。那么如果模型已经训练好，现在在实际进行使用，看会发生什么。P 我 = 0.38 P_我=0.38 P 我 = 0 . 3 8 P 他 = 0.4 P_他=0.4 P 他 = 0 . 4 ∣ V ∣ |V| ∣ V ∣ n n n ∣ V ∣ n |V|^n ∣ V ∣ n k k k k = 2 k=2 k = 2 J / T J/T J / T
在seq2seq模型里可以看到，解码器的输入只来自于编码器的最后一级的输出。在上文介绍RNN中可以知道，一个长句子在编码器的最末尾有可能会丢失句首的信息。因此，改进的方法是将每一个编码器的输出，分别和解码器的输出进行“组合”，这样就可以将输入句子中的每一个词的信息都能“带”到每一个解码器中。这样，模型就可以通过训练，自动的发现前面所提到的词汇一对多，多对多，多对一等情况，而不再需要人工的去提取语言的特征了。
将每一个RNN cell替换为LSTM cell
将编码器由单向结构变为双向结构，以充分的利用输入句子正向和反向的信息（如前文所述，针对所谓的“大喘气”的句子，需要反向的信息）。
这样，采用数学表示，完整的结构如下：m m m x 1 , . . , x m \mathbf{x}_1,..,\mathbf{x}_m x 1 , . . , x m x i ∈ R e × 1 \mathbf{x}_i \in \mathbb{R}^{e \times 1} x i ∈ R e × 1 e e e → \rightarrow → ← \leftarrow ← i i i h i e n c → , c i e n c → = LSTM ( x i , h i − 1 e n c → , c i − 1 e n c → )
\overrightarrow{\mathbf{h}_i^{enc}},\overrightarrow{\mathbf{c}_i^{enc}}=\text{LSTM}(\mathbf{x}_i,\overrightarrow{\mathbf{h}_{i-1}^{enc}},\overrightarrow{\mathbf{c}_{i-1}^{enc}})
h i e n c , c i e n c = LSTM ( x i , h i − 1 e n c , c i − 1 e n c ) h i e n c ← , c i e n c ← = LSTM ( x i , h i + 1 e n c ← , c i + 1 e n c ← )
\overleftarrow{\mathbf{h}_i^{enc}},\overleftarrow{\mathbf{c}_i^{enc}}=\text{LSTM}(\mathbf{x}_i,\overleftarrow{\mathbf{h}_{i+1}^{enc}},\overleftarrow{\mathbf{c}_{i+1}^{enc}})
h i e n c , c i e n c = LSTM ( x i , h i + 1 e n c , c i + 1 e n c ) h 0 e n c → , c 0 e n c → , , h m e n c ← , c m e n c ← = 0 \overrightarrow{\mathbf{h}_0^{enc}},\overrightarrow{\mathbf{c}_0^{enc}},,\overleftarrow{\mathbf{h}_{m}^{enc}},\overleftarrow{\mathbf{c}_{m}^{enc}}=\mathbf 0 h 0 e n c , c 0 e n c , , h m e n c , c m e n c = 0 i i i h i e n c \mathbf{h}_i^{enc} h i e n c c i e n c \mathbf{c}_i^{enc} c i e n c h i e n c = [ h i e n c ← , h i e n c → ] ， 其 中 h i e n c ∈ R 2 h × 1 , ， h i e n c ← , h i e n c → ∈ R h × 1
\mathbf{h}_i^{enc}=[\overleftarrow{\mathbf{h}_i^{enc}}, \overrightarrow{\mathbf{h}_i^{enc}}]，其中\mathbf{h}_i^{enc} \in \mathbb{R}^{2h \times 1}, ，\overleftarrow{\mathbf{h}_i^{enc}}, \overrightarrow{\mathbf{h}_i^{enc}} \in \mathbb{R}^{h \times 1}
h i e n c = [ h i e n c , h i e n c ] ， 其 中 h i e n c ∈ R 2 h × 1 , ， h i e n c , h i e n c ∈ R h × 1 c i e n c = [ c i e n c ← , c i e n c → ] ， 其 中 c i e n c ∈ R 2 h × 1 , ， c i e n c ← , c i e n c → ∈ R h × 1
\mathbf{c}_i^{enc}=[\overleftarrow{\mathbf{c}_i^{enc}}, \overrightarrow{\mathbf{c}_i^{enc}}]，其中\mathbf{c}_i^{enc} \in \mathbb{R}^{2h \times 1}, ，\overleftarrow{\mathbf{c}_i^{enc}}, \overrightarrow{\mathbf{c}_i^{enc}} \in \mathbb{R}^{h \times 1}
c i e n c = [ c i e n c , c i e n c ] ， 其 中 c i e n c ∈ R 2 h × 1 , ， c i e n c , c i e n c ∈ R h × 1 单向的RNN （如前文所述，解码器实际对应为“语言模型”，而“语言模型”采用单向RNN是合适的）。第一级解码器的“左侧“输入为编码器的输出的线性变换，即h 0 d e c = W h [ h 1 e n c ← , h m e n c → ] ， 其 中 h 0 d e c ∈ R h × 1 , W h ∈ R h × 2 h
\mathbf{h}_0^{dec}=\mathbf{W}_h[\overleftarrow{\mathbf{h}_1^{enc}}, \overrightarrow{\mathbf{h}_m^{enc}}]，其中\mathbf{h}_0^{dec} \in \mathbb{R}^{h \times 1}, \mathbf{W}_h \in \mathbb{R}^{h \times 2h}
h 0 d e c = W h [ h 1 e n c , h m e n c ] ， 其 中 h 0 d e c ∈ R h × 1 , W h ∈ R h × 2 h c 0 d e c = W c [ c 1 e n c ← , c m e n c → ] ， 其 中 c 0 d e c ∈ R h × 1 , W c ∈ R h × 2 h
\mathbf{c}_0^{dec}=\mathbf{W}_c[\overleftarrow{\mathbf{c}_1^{enc}}, \overrightarrow{\mathbf{c}_m^{enc}}]，其中\mathbf{c}_0^{dec} \in \mathbb{R}^{h \times 1}, \mathbf{W}_c \in \mathbb{R}^{h \times 2h}
c 0 d e c = W c [ c 1 e n c , c m e n c ] ， 其 中 c 0 d e c ∈ R h × 1 , W c ∈ R h × 2 h t t t y t ˉ \bar{\mathbf {y_t}} y t ˉ h t d e c , c t d e c = LSTM ( y t ˉ , h t − 1 d e c , c t − 1 d e c )
\mathbf{h}_t^{dec},\mathbf{c}_t^{dec}=\text{LSTM}(\bar{\mathbf {y_t}}, \mathbf{h}_{t-1}^{dec},\mathbf{c}_{t-1}^{dec})
h t d e c , c t d e c = LSTM ( y t ˉ , h t − 1 d e c , c t − 1 d e c ) h t d e c , c t d e c ∈ R h × 1 \mathbf{h}_t^{dec},\mathbf{c}_t^{dec} \in \mathbb{R}^{h \times 1} h t d e c , c t d e c ∈ R h × 1 e t , i = ( h t d e c ) T W a t t P r o j h i e n c ， 其 中 W a t t P r o j ∈ R h × 2 h
e_{t,i}=(\mathbf{h}_t^{dec})^T \mathbf W_{attProj}\mathbf{h}_i^{enc}，其中 \mathbf W_{attProj} \in \mathbb{R}^{h \times 2h}
e t , i = ( h t d e c ) T W a t t P r o j h i e n c ， 其 中 W a t t P r o j ∈ R h × 2 h t t t e t = ( e t , 1 , . . . , e t , m ) T \mathbf e_t = (e_{t,1},...,e_{t,m})^T e t = ( e t , 1 , . . . , e t , m ) T α t = softmax ( e t ) ， 其 中 α t ∈ R m × 1
\mathbf \alpha_t = \text{softmax}(\mathbf e_t)，其中\mathbf \alpha_t \in \mathbb{R}^{m \times 1}
α t = softmax ( e t ) ， 其 中 α t ∈ R m × 1 α t \mathbf \alpha_t α t t t t α t \mathbf \alpha_t α t t t t a t = ∑ i m α t , i h i e n c ， 其 中 a t ∈ R 2 h × 1
\mathbf a_t = \sum_i^m \alpha_{t,i}\mathbf h_i^{enc}，其中\mathbf a_t \in \mathbb{R}^{2h \times 1}
a t = i ∑ m α t , i h i e n c ， 其 中 a t ∈ R 2 h × 1 t t t u t = [ a t , h t d e c ] ， u t ∈ R 3 h × 1 v t = W u u t , v t ∈ R h × 1 , W u ∈ R h × 3 h o t = Dropout ( tanh v t ) , o t ∈ R h × 1 P t = Softmax ( W v o c a b o t ) , P t ∈ R V t a r g e t × 1 , W v o c a b ∈ R V t a r g e t × h
\begin{aligned}
\mathbf u_t &= [\mathbf a_t, \mathbf h_t^{dec}]，\mathbf u_t \in \mathbb{R}^{3h \times 1} \\
\mathbf v_t &= \mathbf W_u \mathbf u_t, \mathbf v_t \in \mathbb{R}^{h \times 1}, \mathbf W_u \in \mathbb{R}^{h \times 3h} \\
\mathbf o_t &= \text{Dropout}(\tanh \mathbf v_t), \mathbf o_t \in \mathbb{R}^{h \times 1} \\
\mathbf P_t &= \text{Softmax}(\mathbf W_{vocab} \mathbf o_t), \mathbf P_t \in \mathbb{R}^{V_{target} \times 1}, \mathbf W_{vocab} \in \mathbb{R}^{V_{target} \times h}
\end{aligned}
u t v t o t P t = [ a t , h t d e c ] ， u t ∈ R 3 h × 1 = W u u t , v t ∈ R h × 1 , W u ∈ R h × 3 h = Dropout ( tanh v t ) , o t ∈ R h × 1 = Softmax ( W v o c a b o t ) , P t ∈ R V t a r g e t × 1 , W v o c a b ∈ R V t a r g e t × h ∣ V ∣ t a r g e t |V|_{target} ∣ V ∣ t a r g e t t t t J t = c r o s s e n t r o p y ( P t , g t )
J_t = crossentropy(\mathbf P_t, \mathbf g_t)
J t = c r o s s e n t r o p y ( P t , g t ) g t \mathbf g_t g t y t ˉ = [ y t , o t − 1 ] , y t ˉ ∈ R ( e + h ) × 1 , y t ∈ R e × 1 , o t − 1 ∈ R h × 1
\bar{\mathbf {y_t}} = [\mathbf y_t, \mathbf o_{t-1}], \bar{\mathbf {y_t}} \in \mathbb{R}^{(e+h) \times 1}, \mathbf y_t \in \mathbb{R}^{e \times 1},\mathbf o_{t-1} \in \mathbb{R}^{h \times 1}
y t ˉ = [ y t , o t − 1 ] , y t ˉ ∈ R ( e + h ) × 1 , y t ∈ R e × 1 , o t − 1 ∈ R h × 1 o 0 = 0 \mathbf o_0 = \mathbf 0 o 0 = 0 y t \mathbf y_t y t