文章目录
1.RNN
提到LSTM不得不提到RNN，因为LSTM是一种特殊的RNN。但本文只会简单的介绍RNN！
1.1 模型
模型展开:
反向传播：
1.2 问题
简单的RNN模型有梯度消失、梯度爆炸以及不能很好解决长依赖等问题！而这些问题在LSTM中得到了很好地解决！
2.LSTM
2.1 RNN和LSMT模型对比
2.2 sigmoid
sigmoid是每个门都会用到的函数：
2.3 具体模块讲解
2.3.1 总体
接下来会选择 t 时刻的LSTM进行讲解，图中加号表示相加，乘号表示逐点相乘，σ表示sigmoid函数，tanh就是tanh函数：
2.3.2 细胞状态
2.3.3 门
2.3.3.1 遗忘门
2.3.3.2 输入门
更新C_t
2.3.3.3 输出门
2.3.3.4 三个门总结
3.参考
https://blog.csdn.net/qq_31278903/article/details/88690959
https://www.jianshu.com/p/9bd54a24bfc9