1.LSTM
LSTM的基本结构如下图：
---来源http://binweber.top/2018/02/20/deep_learning_9/
包含三个门控，一个更新门（输入门）Γu，一个遗忘门Γf，一个输出门Γo。
更新门：将新的信息选择性的更新到细胞状态中。
遗忘门：将细胞状态中的信息选择性的遗忘。
输出门：确定细胞状态与输入的哪个部分将输出出去。
具体数学表达式为：
在很多LSTM版本中，几个门值的计算不只取决于输入x和a值，有时也可以偷窥上一个细胞输入的c值，这叫窥视孔连接（Peephole Connection)。
2.LSTM的记忆传递
---来源Andrew Ng深度学习课件
3.LSTM与GRU比较
| GRU | LSTM |
|
|