对LSTM的理解

这篇博客是在看了李宏毅老师的机器学习系列课程之后，对LSTM产生的理解。

－－－－－－－－－－－－－－－－－－－分割线－－－－－－－－－－－－－－－－－－－－

１．什么是RNN（循环神经网络）？

　　在理解LSTM之前，需要先理解什么是RNN。现在我们假设一个简单的神经网络，只有一个神经元，如下图所示，

我们在在训练神经网络的过程是：

而RNN的结构是：

2.LSTM的结构：

和传统的神经网络的关系是：

最终形态是：