RNN——LSTM

 RNN

 可以更好的理解序列问题，因为S的值取决于上一个输入的S的值

U是输入层到隐藏层的权重矩阵，o也是一个向量，它表示输出层的值；V是隐藏层到输出层的权重矩阵。

 

由上图， 循环神经网络可以往前看任意多个输入值

LSTM

RNN不能解决长序列的问题，长短期记忆网络（LSTM）的全称是Long Short Term Memory networks，是RNN的一种特殊形式，特点是能够学习长距离依赖关系。