LSTM 示意图如下，来自 LSTM 非常出名的博客 ： http://colah.github.io/posts/2015-08-Understanding-LSTMs/
首先标准的LSTM
forgot gate:
input gate
cell state
output gate
LSTM 常用的一种变体--GRU
input gate、forget gate GRU 中将这两个gate合为一个 update gate, 将cell state 、hidden state 也合为一个state