本文仅是博主自己学习用来加深印象和留存整理，对该内容有兴趣请去阅读原文。
神经网络
单图像分类器的深度神经网络：
- 先检测低级图形，形状或棱边
- 更复杂的特征，人脸或猫
- 更具细节的特征，活动或动作
利用RNN记忆信息
递归神经网络（RNN）：对当前情形的判断不止与现在的输入有关还和以前的状态有关，如之前有一副超市的画面，现在一个人手拿培根，那他更可能是在购物而不是做饭。
递归神经网络就是把中间隐含层当作记忆。
利用LSTM实现更长久的记忆
RNN改写记忆的方式是无序的，更新过程十分混乱，很容易造成错误的认识。
LSTM通过以下方式实现长久的精确的记忆：
1. 添加遗忘机制。判断不相关的不记
2. 添加保存机制。有价值的保存到长期记忆中
3. 将长期记忆聚焦为工作记忆。判断长期记忆中立刻发挥作用的用于工作
模型对比
神经网络
RNN
LSTM
LSTM的数学表达
在新时间t，会收到一个新的输入xt，此时还需将长期记忆和工作记忆更新。
通过对输入xt的计算可以学习到信息，作为长期记忆的候选记忆。通过**函数对候选记忆进行处理判断，0和1之间，最终忘记不需要的并保存有用的，即得到更新后的长期记忆。
工作记忆的更新：关注向量为1（一个公式判定后为1）的则立刻发挥作用。
总结来说，普通的RNN只是利用一个方程式来更新它的隐状态/记忆，而LSTM则是利用数个方程组
学习如何编码
……
额，后面的就暂时看不懂了。。。暂时先去学习下别的基础的再回来重新看一下。。。