RNN的bp

RNN的bp

来源：https://zybuluo.com/hanbingtao/note/581764

RNN的权重向下层输出的同时，会将权重返回到本层的输入处，和下一次的输入加和

RNN只用了一个权重保存节点的状态，LSTM用了两个权重来保存，新加的状态称为单元状态（cell stat）

对长程记忆和短程记忆的控制，可以参考LSTM单元来了解：

LSTM用三个门来控制数据的流动：f,i,o，其中forget门控制Ct−1到Ct的$C_{t-1}到C_t的$量，input门控制ht−1和xt到Ct的量$h_{t-1}和x_t到C_t的量$，output门控制Ct到ht的量$C_t到h_t的量$

GRU有两个门，一个状态：
输入门、遗忘门、输出门变为两个门：更新门（Update Gate）和重置门（Reset Gate）