吴恩达深度学习第五门课第四周序列模型（sqquence models）

数字符号(notation)

采用 $x^{<1>}$ 表示输入序列， $y^{<2>}$ 表示输出序列，每个单词有一个one hot向量。

循环神经网络

采用标准的神经网络：一是序列长度不同时不好处理，二是需要大量的参数。
循环神经网络神经院不仅会预测，还会传递一个时间步给下一神经元
吴恩达深度学习第五门课第四周序列模型（sqquence models）
循环神经网络的前向传播如下

通过时间的反向传播，反向传播的路径刚好与前向传播相反

循环神经网络的种类

GRU

GRU是给记忆细胞的新候选值加一个门
吴恩达深度学习第五门课第四周序列模型（sqquence models）
LSTM包含三个门，更新门、遗忘门、输出门

双向循环神经网络

双向循环神经网络使得预测可以接受未来的信息
吴恩达深度学习第五门课第四周序列模型（sqquence models）

深层循环神经网络

吴恩达深度学习第五门课第四周序列模型（sqquence models）

未完待续，后续补充细节…
参考第五门课序列模型(Sequence Models)