门控循环单元GRU
好文章(有助理解)：https://zhuanlan.zhihu.com/p/28297161
长短时记忆LSTM
LSTM模型是用来解决simpleRNN对于长时期依赖问题（LongTerm Dependency），即通过之前提到的但是时间上较为久远的内容进行后续的推理和判断。LSTM的基本思路是引入了门控装置，来处理记忆单元的记忆/遗忘、输入程度、输出程度的问题。通过一定的学习，可以学到何时对各个门开启到何种程度，因为门控也是由有一定可以学习的参数的神经网络来实现的，这样就可以让机器知道何时应该记住某个信息，而何时应该抛弃某个信息。
暂时没空排版，先记录下来，有空来排版一下！！！