RNN
- DNN的无法对时间序列上的变化进行建模，所以出现了RNN，神经元的输出可以在下一个时间戳直接作用到自身。但是RNN出现梯度消失，长短时记忆单元LSTM，通过门的开关实现时间上记忆功能，并防止梯度消失。
- RNN既然能继承历史信息，是不是也能吸收点未来的信息呢？双向RNN、双向LSTM，同时利用历史和未来的信息。
LSTM
GRU
GRU对LSTM做了两个大改动
1.将输入门、遗忘门、输出门变为两个门：更新门（Update Gate）和重置门（Reset Gate）。
2.将单元状态与输出合并为一个状态：GRU只用了两个gates，将LSTM中的输入门和遗忘门合并成了更新门。并且并不把线性自更新建立在额外的memory cell上，而是直接线性累积建立在隐藏状态上，并靠gates来调控。
更全面的参考：
深度学习笔记——RNN（LSTM、GRU、双向RNN）学习总结