RNN介绍：
RNN与HMM的区别：
主要是隐状态，HMM相当于是onehot编码，每个观测状态是由某一个隐状态决定的，其他都为0.属于局部最优解，稀疏。
而RNN的隐状态相当于词向量表示（分布式表示），每个观测状态是由好多隐状态作用生成的，密集。
递归神经网络适合语言模型，因为后边的输出会受前边输入的影响，所以一个句子后边的词的生成是联合概率。但存在的问题是
梯度消失，随着句子加长，生成后边的词时，越远的词的作用会越来越小，所以有了LSTM。
每一个时间点的输出都是一个长度为V（词典里词个数）的向量，通过交叉熵损失函数计算出每个输出词的损失，然后再累加作为损失函数，优化这个损失函数得到训练参数。
RNN的问题是梯度消失与爆炸。
梯度爆炸容易解决：设置一个阈值，当结果大于这个值时，将其减小。
梯度消失不好解决：可以用LSTM，**函数换成RELU。
LSTM的提出
LSTM
sigmoid函数选择更新内容，tanh函数创建更新候选。
这篇博客对RNN有了很详细的介绍，在此引用作为参考。
https://blog.csdn.net/zhaojc1995/article/details/80572098
RNN的一些变种： 看图说话，文本分类，机器翻译，命名实体标签