使用 Sutskever 的技术通过反向传播计算导数

【问题标题】：Calculating derivatives with backpropagation using Sutskever's technique使用 Sutskever 的技术通过反向传播计算导数
【发布时间】：2015-07-03 15:00:52
【问题描述】：

在 Ilya Sutskever 的 "TRAINING RECURRENT NEURAL NETWORK" 中，有以下技术用于在前馈神经网络中使用反向传播计算导数。

网络有 l 个隐藏层、l+1 个权重矩阵和 b+1 个偏置向量。

“前进”阶段：

“倒退”阶段：

l+1不是有索引问题吗？例如，在前向阶段我们计算 z_l+1 但返回 z_l。

（由于这是一篇如此重要的论文，我想我错过了一些东西）

【问题讨论】：

标签： machine-learning neural-network backpropagation

【解决方案1】：

没问题，有些索引从 0 开始（例如变量 z），有些从 1 开始（变量 x）。遵循更仔细的算法，试着用手写的方式明确地写出来，比如 l=4。

【讨论】：

我还是不明白为什么我们在最后计算的条目是 z_l+1 时输出 z_l。此外，z 的长度似乎是 (l+2)，因为我们访问的是 z_0 和 z_l+1。对吗？
看起来输出是错字，是的。 z 的长度为 (l+2) 是的，但更多的是为了在符号上具有说服力 - 将输入 x 视为“激活”(z_0) 而不是特殊情况。
好的，毕竟这是一个错字。在另一个方向上也是这样吗？（我们初始化 dz_l 但在循环内部使用 dz_l+1）
看起来那个也是一个错字。所有三个 z_l 都应该是 z_(l+1)，然后在第 4 行计算向后的 z_l。