RNN(Recurrent Neural Networks)和LSTM

RNN是目前NLP中很火的神经网络，也是需要掌握的一种神经网络。可以在BPNN的基础上来学习RNN

以上是RNN的定时循环，
用来处理输入之间前后关联的问题。

传统神经网络并不能做到思考的持久性，这是一个巨大的弊端。而RNN关注于此。

RNN可以看作是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个，以下是循环的展开：

LSTM是RNN中非常重要的一种变形，几乎所有的RNN应用都是基于LSTM。