Deep Learnig(递归神经网络)

一递归神经网络原理

1.工作过程

（1）文本处理（训练）
（2）一个神经元，不同时刻
（3）每个时刻都有输出
Deep Learnig(递归神经网络)

2.正向传播

Deep Learnig(递归神经网络)
$\begin{array}{l} \mathrm{o}_{t}=g\left(V \mathrm{s}_{t}\right) \\ \mathrm{s}_{t}=f\left(U \mathrm{x}_{t}+W \mathrm{s}_{t-1}\right) \end{array}$
其中：g=softmax,f=tanh。
$\begin{aligned} \mathrm{o}_{t} &=g\left(V \mathrm{s}_{t}\right) \\ &=V f\left(U \mathrm{x}_{t}+W \mathrm{s}_{t-1}\right) \\ &=V f\left(U \mathrm{x}_{t}+W f\left(U \mathrm{x}_{t-1}+W \mathrm{s}_{t-2}\right)\right) \\ &=V f\left(U \mathrm{x}_{t}+W f\left(U \mathrm{x}_{t-1}+W f\left(U \mathrm{x}_{t-2}+W \mathrm{s}_{t-3}\right)\right)\right) \\ &=V f\left(U \mathrm{x}_{t}+W f\left(U \mathrm{x}_{t-1}+W f\left(U \mathrm{x}_{t-2}+W f\left(U \mathrm{x}_{t-3}+\ldots\right)\right)\right)\right) \end{aligned}$

3.损失函数

Deep Learnig(递归神经网络)
$\begin{aligned} E_{t}\left(y_{t}, \hat{y}_{t}\right) &=-y_{t} \log \hat{y}_{t} \\ E(y, \hat{y}) &=\sum_{t} E_{t}\left(y_{t}, \hat{y}_{t}\right) \\ &=-\sum_{t} y_{t} \log \hat{y}_{t} \end{aligned}$

4.反向传播

（1）参数优化方法：同传统神经网络一样，梯度下降；
（2）计算损失函数对参数的导数；
（3）每个输出都对参数有影响。
Deep Learnig(递归神经网络)
（4）计算对w的导数：
$\frac{\partial E}{\partial W}=\sum_{t} \frac{\partial E_{t}}{\partial W}$
E3由t0−t3时刻x,W共同确定， $\Delta s_{3}=\frac{\partial E_{3}}{\partial s_{3}}$
t3时刻：
$\frac{\partial E_{3}}{\partial w}=\frac{\partial s_{3}}{\partial w} \Delta s_{3}$
t2时刻：
$\frac{\partial E_{3}}{\partial w}=\frac{\partial s_{3}}{\partial s_{2}} \frac{\partial s_{2}}{\partial w} \Delta s_{3}$
t1时刻：
$\frac{\partial E_{3}}{\partial w}=\frac{\partial s_{3}}{\partial s_{2}} \frac{\partial s_{2}}{\partial s_{1}}\frac{\partial s_{1}}{\partial w} \Delta s_{3}$
t0时刻：
$\frac{\partial E_{3}}{\partial w}=\frac{\partial s_{3}}{\partial s_{2}} \frac{\partial s_{2}}{\partial s_{1}} \frac{\partial s_{1}}{\partial s_{0}} \frac{\partial s_{0}}{\partial w} \Delta s_{3}$
$\frac{\partial E_{3}}{\partial w}=\sum_{k=0}^{3} \frac{\partial s_{3}}{\partial s_{k}} \frac{\partial s_{k}}{\partial w} \Delta s_{3}$
（5）计算对u的导数：同理有
$\frac{\partial E_{3}}{\partial U}=\sum_{k=0}^{3} \frac{\partial s_{3}}{\partial s_{k}} \frac{\partial s_{k}}{\partial U} \Delta s_{3}$
（5）多层网络
类比传统神经网络单层到多层的结构变化，额外添加上层前一状态。
Deep Learnig(递归神经网络)
（6）双层网络
输入信息正向、反向来输入RNN。这是由于信息的依赖关系顺序不是一定的。

（7）Vanishing Gradient 问题
注意到因为我们是用向量函数对向量求导数，结果是一个矩阵（称为Jacobian
Matrix），矩阵元素是每个点的导数。
Deep Learnig(递归神经网络)
影响：较长的记忆无法产生作用。
解决方式：非线性激励更换；LSTM长短记忆单元。

二升级版RNN：LSTM

1.RNN局限

Deep Learnig(递归神经网络)

2.解决方案：设计Gate，保存重要记忆

Deep Learnig(递归神经网络)

3.LSTM生成

Ct是信息流控制的关键，参数决定了ht传递过程中，哪些被保存或者舍弃。该参数被Gate影响。
Deep Learnig(递归神经网络)
LSTM 有通过精心设计的称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。他们包含一个 sigmoid 神经网络层和一个 pointwise 乘法操作。