RNN,LSTM,GRU基本原理的个人理解

记录一下对RNN,LSTM,GRU基本原理（正向过程以及简单的反向过程）的个人理解

---

RNN

Recurrent Neural Networks，循环神经网络
（注意区别于recursive neural network，递归神经网络）

为了解决DNN存在着无法对时间序列上的变化进行建模的问题（如自然语言处理、语音识别、手写体识别），出现的另一种神经网络结构——循环神经网络RNN。

RNN结构

• 第t$\mathbf{t}$层神经元的输入，除了其自身的输入xt${\mathbf{x}}_t$，还包括上一层神经元的隐含层输出st−1${\mathbf{s}}_{t-1}$
• 每一层的参数U,W,V都是共享的
  
  
• 每一层并不一定都得有输入和输出，如对句子进行情感分析是多到一，文本翻译多到多，图片描述一到多

数学描述

（以下开始符号统一）
回忆一下单隐含层的前馈神经网络
输入为X∈Rn×x$\mathbf{X}\in {\mathbb{R}}^{n\times x}$（n个维度为x的向量）
隐含层输出为

H=ϕ(XWxh+bh)$$\mathbf{H}=\varphi (\mathbf{X}{\mathbf{W}}_{xh}+{\mathbf{b}}_h)$$

输出层输入H∈Rn×h$\mathbf{H}\in {\mathbb{R}}^{n\times h}$
输出为

Y^=softmax(HWhy+by)$$\hat{\mathbf{Y}}=\text{softmax}(\mathbf{H}{\mathbf{W}}_{hy}+{\mathbf{b}}_y)$$

现在对X$\mathbf{X}$、H$\mathbf{H}$、Y$\mathbf{Y}$都加上时序下标
同时引入一个新权重Whh∈Rh×h${\mathbf{W}}_{hh}\in {\mathbb{R}}^{h\times h}$
得到RNN表达式

Ht=ϕ(XtWxh+Ht−1Whh+bh)$${\mathbf{H}}_t=\varphi ({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h)$$

Y^t=softmax(HtWhy+by)$${\hat{\mathbf{Y}}}_t=\text{softmax}({\mathbf{H}}_t{\mathbf{W}}_{hy}+{\mathbf{b}}_y)$$

H0${\mathbf{H}}_0$通常置零

深层RNN和双向RNN

通过时间反向传播和随之带来的问题

输入为xt∈Rx${\mathbf{x}}_t\in {\mathbb{R}}^x$
不考虑偏置
隐含层变量为

ht=ϕ(Whxxt+Whhht−1)$${\mathbf{h}}_t=\varphi ({\mathbf{W}}_{hx}{\mathbf{x}}_t+{\mathbf{W}}_{hh}{\mathbf{h}}_{t-1})$$

输出层变量为

ot=Wyhht$${\mathbf{o}}_t={\mathbf{W}}_{yh}{\mathbf{h}}_t$$

则损失函数为

L=1T∑t=1Tℓ(ot,yt)$$L=\frac{1}{T}\sum _{t=1}^T\ell ({\mathbf{o}}_t,y_t)$$

以一个三层为例

三个参数更新公式为

Whx=Whx−η∂L∂Whx$${\mathbf{W}}_{hx}={\mathbf{W}}_{hx}-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hx}}$$

Whh=Whh−η∂L∂Whh$${\mathbf{W}}_{hh}={\mathbf{W}}_{hh}-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hh}}$$

Wyh=Wyh−η∂L∂Wyh$${\mathbf{W}}_{yh}={\mathbf{W}}_{yh}-\eta \frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{yh}}$$

明显的

∂L∂ot=∂ℓ(ot,yt)T⋅∂ot$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t}=\frac{\mathrm{\partial }\ell ({\mathbf{o}}_t,y_t)}{T\cdot \mathrm{\partial }{\mathbf{o}}_t}$$

根据链式法则

∂L∂Wyh=∑t=1Tprod(∂L∂ot,∂ot∂Wyh)=∑t=1T∂L∂oth⊤t$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{yh}}=\sum _{t=1}^T\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t},\frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{W}}_{yh}})=\sum _{t=1}^T\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t}{\mathbf{h}}_t^{\mathrm{\top }}$$

先计算目标函数有关最终时刻隐含层变量的梯度

∂L∂hT=prod(∂L∂oT,∂oT∂hT)=W⊤yh∂L∂oT$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_T}=\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_T},\frac{\mathrm{\partial }{\mathbf{o}}_T}{\mathrm{\partial }{\mathbf{h}}_T})={\mathbf{W}}_{yh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_T}$$

假设ϕ(x)=x$\varphi (x)=x$（RNN中用**函数relu还是tanh众说纷纭，有点玄学）

∂L∂ht=prod(∂L∂ht+1,∂ht+1∂ht)+prod(∂L∂ot,∂ot∂ht)=W⊤hh∂L∂ht+1+W⊤yh∂L∂ot$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}=\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_{t+1}},\frac{\mathrm{\partial }{\mathbf{h}}_{t+1}}{\mathrm{\partial }{\mathbf{h}}_t})+\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t},\frac{\mathrm{\partial }{\mathbf{o}}_t}{\mathrm{\partial }{\mathbf{h}}_t})={\mathbf{W}}_{hh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_{t+1}}+{\mathbf{W}}_{yh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_t}$$

通项为

∂L∂ht=∑i=tT(W⊤hh)T−iW⊤yh∂L∂oT+t−i$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}=\sum _{i=t}^T{({\mathbf{W}}_{hh}^{\mathrm{\top }})}^{T-i}{\mathbf{W}}_{yh}^{\mathrm{\top }}\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{o}}_{T+t-i}}$$

注意上式，当每个时序训练数据样本的时序长度T较大或者时刻t较小，目标函数有关隐含层变量梯度较容易出现衰减和爆炸

∂L∂Whx=∑t=1Tprod(∂L∂ht,∂ht∂Whx)=∑t=1T∂L∂htx⊤t$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hx}}=\sum _{t=1}^T\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t},\frac{\mathrm{\partial }{\mathbf{h}}_t}{\mathrm{\partial }{\mathbf{W}}_{hx}})=\sum _{t=1}^T\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}{\mathbf{x}}_t^{\mathrm{\top }}$$

∂L∂Whh=∑t=1Tprod(∂L∂ht,∂ht∂Whh)=∑t=1T∂L∂hth⊤t−1$$\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{W}}_{hh}}=\sum _{t=1}^T\text{prod}(\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t},\frac{\mathrm{\partial }{\mathbf{h}}_t}{\mathrm{\partial }{\mathbf{W}}_{hh}})=\sum _{t=1}^T\frac{\mathrm{\partial }L}{\mathrm{\partial }{\mathbf{h}}_t}{\mathbf{h}}_{t-1}^{\mathrm{\top }}$$

梯度裁剪

为了应对梯度爆炸，一个常用的做法是如果梯度特别大，那么就投影到一个比较小的尺度上。θ$\theta$为设定的裁剪“阈值”，为标量，若梯度的范数大于此阈值，将梯度缩小，若梯度的范数小于此阈值，梯度不变

g=min(θ∥g∥,1)g$$\mathit{g}=min\left(\frac{\theta }{\Vert \mathit{g}\Vert },1\right)\mathit{g}$$

---

LSTM

RNN的隐含层变量梯度可能会出现衰减或爆炸。虽然梯度裁剪可以应对梯度爆炸，但无法解决梯度衰减。因此，给定一个时间序列，例如文本序列，循环神经网络在实际中其实较难捕捉两个时刻距离较大的文本元素（字或词）之间的依赖关系。
LSTM（long short-term memory）由Hochreiter和Schmidhuber在1997年被提出。

LSTM结构

这里两张图先不用细看，先着重记住公式后再回来看

数学描述

（同上，符号统一）
设隐含状态长度h$h$,t$t$时刻输入Xt∈Rn×x${\mathbf{X}}_t\in {\mathbb{R}}^{n\times x}$（x$x$维）及t−1$t-1$时刻隐含状态Ht−1∈Rn×h${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{n\times h}$,
输入门，遗忘门，输出门，候选细胞如下

It=σ(XtWxi+Ht−1Whi+bi)$${\mathbf{I}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xi}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hi}+{\mathbf{b}}_i)$$

Ft=σ(XtWxf+Ht−1Whf+bf)$${\mathbf{F}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xf}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hf}+{\mathbf{b}}_f)$$

Ot=σ(XtWxo+Ht−1Who+bo)$${\mathbf{O}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xo}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{ho}+{\mathbf{b}}_o)$$

C~t=tanh(XtWxc+Ht−1Whc+bc)$${\tilde{\mathbf{C}}}_t=\text{tanh}({\mathbf{X}}_t{\mathbf{W}}_{xc}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hc}+{\mathbf{b}}_c)$$

（思考侯选细胞**函数的不同）
记忆细胞

Ct=Ft⊙Ct−1+It⊙C~t$${\mathbf{C}}_t={\mathbf{F}}_t\odot {\mathbf{C}}_{t-1}+{\mathbf{I}}_t\odot {\tilde{\mathbf{C}}}_t$$

想象，如果遗忘门一直近似1且输入门一直近似0，过去的细胞将一直通过时间保存并传递至当前时刻
隐含状态

Ht=Ot⊙tanh(Ct)$${\mathbf{H}}_t={\mathbf{O}}_t\odot \text{tanh}({\mathbf{C}}_t)$$

输出同RNN

Y^=softmax(HWhy+by)$$\hat{\mathbf{Y}}=\text{softmax}(\mathbf{H}{\mathbf{W}}_{hy}+{\mathbf{b}}_y)$$

---

GRU

由Cho、van Merrienboer、 Bahdanau和Bengio在2014年提出，比LSTM少一个门控，实验结果却相当

GRU结构

数学描述

设隐含状态长度h$h$,t$t$时刻输入Xt∈Rn×x${\mathbf{X}}_t\in {\mathbb{R}}^{n\times x}$（x$x$维）及t−1$t-1$时刻隐含状态Ht−1∈Rn×h${\mathbf{H}}_{t-1}\in {\mathbb{R}}^{n\times h}$,
重置门，更新门如下

Rt=σ(XtWxr+Ht−1Whr+br)$${\mathbf{R}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xr}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hr}+{\mathbf{b}}_r)$$

Zt=σ(XtWxz+Ht−1Whz+bz)$${\mathbf{Z}}_t=\sigma ({\mathbf{X}}_t{\mathbf{W}}_{xz}+{\mathbf{H}}_{t-1}{\mathbf{W}}_{hz}+{\mathbf{b}}_z)$$

候选隐含状态

H~t=tanh(XtWxh+Rt⊙Ht−1Whh+bh)$${\tilde{\mathbf{H}}}_t=\text{tanh}({\mathbf{X}}_t{\mathbf{W}}_{xh}+{\mathbf{R}}_t\odot {\mathbf{H}}_{t-1}{\mathbf{W}}_{hh}+{\mathbf{b}}_h)$$

隐含状态

Ht=Zt⊙Ht−1+(1−Zt)⊙H~t$${\mathbf{H}}_t={\mathbf{Z}}_t\odot {\mathbf{H}}_{t-1}+(1-{\mathbf{Z}}_t)\odot {\tilde{\mathbf{H}}}_t$$

输出

Y^=softmax(HWhy+by)$$\hat{\mathbf{Y}}=\text{softmax}(\mathbf{H}{\mathbf{W}}_{hy}+{\mathbf{b}}_y)$$

（无力吐槽csdn了，预览和实际用的不一套渲染，公式丑死）