深度学习（九）

循环神经网络

one-hot向量

指明了在词典中的位置，当前位置为1，其余位置全为0

结构

1、不仅使用当前输入，还使用原来的输入

2、多对一的结构：不再是每个时间步都有输出，而是最后一个时间步有输出
除此之外，还有一对多，多对多结构（输入输出长度不一致）

3、GRU：
解决了深度网络的依赖性，即长时间记住某个值，其公式如下：
c<t>=Γu∗c^<t>+(1−Γu)∗c<t−1>$c^{<t>}={\mathrm{\Gamma }}_u\ast {\hat{c}}^{<t>}+(1-{\mathrm{\Gamma }}_u)\ast c^{<t-1>}$

LSTM

1、定义：

双向RNN

不仅可以利用过去的信息，而且可以利用未来的信息，示意图如下：

缺点：需要语言的完整表达才能进行预测

深层RNN