RNN 的一些理解

符号规定

上图中, $x^t$xt 表示第 $t$t 个训练样本. 比如 $x^1$x1 表示第一个训练样本 — ‘Harry’.
$y^t$yt 表示 第 $t$t 个训练样本的输出向量. 比如 $y^1$y1 表示第一个训练样本的输出向量 {1}, 表示 是人名.
$x^{(i)<t>}$x(i)<t> 表示第 $i$i 个训练样本的第 $t$t 个元素, 如 $x^{(1)<3>}$x(1)<3> 为 ‘r’.
$y^{(i)<t>}$y(i)<t> 表示第 $i$i 个训练样本的第 $t$t 个标签.

vocabulary 等价于 dictionary, 经常提到的输入一个 vocabulary 即输入一个 dictionary.

图 Vocabulary

RNN

上图每个圆圈都代表一层神经元 , 所有的矩形都是同一个网络, 只是按时间步展开来了

RNN 上通过时间的反向传播