【发布时间】：2013-01-22 01:09:53
【问题描述】：
我正在 Andrew Ng 教授的讲座或 this，使用图 31 算法。
我想我理解前向传播和后向传播很好，但在每次迭代后更新权重 (theta) 时会感到困惑。
第一季度。何时以及如何更新权重 (theta) 矩阵 - theta1, theta2？
第二季度。大三角洲有什么用？ [已解决，谢谢@xhudik]
第三季度。我们是否必须添加+1（输入和隐藏层中的偏置单元？）
【问题讨论】：
-
大写delta的含义在伪代码下面直接解释：它是权重更新的累加器；对具有相同（旧）权重矩阵的所有训练样本进行前向传播。然后更新权重矩阵。我认为这称为批量学习。
-
@nikie 您能否详细说明一下，如何更新权重矩阵？我在其中找不到任何东西，或者我可能遗漏了一些东西
-
如果您使用梯度下降，您只需将梯度乘以某个学习率添加到权重中。
-
我正在使用反向传播算法，所以它像 - w（l 层的权重矩阵）= w + learning_rate * delta（该层的）* x（输入向量）吗？我真的很困惑......可能是它的愚蠢问题，但仍然！
-
@codemuncher 我不是很擅长神经网络，但是 AFAIK 你的方程是正确的，然而，证明它的最好方法是实现一些算法并将结果与一些已经工作的 NN 进行比较（例如，Andrew Ng 教授的 coursera.org 机器学习课程中的一些任务）- 祝你好运！
标签： machine-learning neural-network