用于训练神经网络的反向传播

Question

我想使用this article 来构建神经网络，但是在权重向量的更新算法上遇到了一些问题。具体来说，使用公式marked red。 谁能帮我理解，什么是 hm(i) 和符号“|”方法？

Answer 1

这看起来像 back-propagation 计算神经网络训练误差的梯度。 Bishop（第 244 页）列出了一个关键公式：

δj = h'(aj) SUM(k, wkj δk)

δ 是隐藏或输出节点的预测值和标记值之间的误差。右侧的δ 项已经计算完毕，对应于正在考虑的下一层输出。

h' 项是非线性activation function 的导数，通常是sigmoid function 或tanh。图片中列出的hm 看起来像tanh 的衍生变量，但变量发生了变化。

竖线是评估语法：f(t) = f(x) | t。我不太清楚你图片中的表情是什么；我可能是错的。