Recurrent Neural Networks

传统的神经网络不能进行连续的思考.想象一下你想对电影里每一个点发生的不同的事件进行分类.对于传统的神经网络来说是不能从过去的事情推断未来的事情.
RNN(Recurrent neural networks)解决了这个问题.RNN的神经元自己建立了一个自己的回路,使得信息可以保存.

在上图中A有一个输入xt和一个输出ht。一个RNN可以被想象成相同网络的多层拷贝.

RNN被应用于语音识别,语言模型,翻译,图像处理

参考文献:
Understanding LSTM Networks
The Unreasonable Effectiveness of Recurrent Neural Networks