反向传播和梯度下降的简短定义

Question

我需要为反向传播和梯度下降写一个非常简短的定义，我有点搞不懂它们的区别是什么。

下面的定义正确吗？：

为了计算神经元网络的权重，使用了反向传播算法。这是一个减少模型误差的优化过程。该技术基于梯度下降法。相反，每个权重对总误差的贡献是从输出层跨所有隐藏层到输入层计算的。为此，计算误差函数 E 对 w 的偏导数。生成的梯度用于调整最陡下降方向的权重：

w_new = w_old - learning_rate* (part E / part w_old)

有什么建议或更正吗？

谢谢！

Answer 1

第一次梯度下降只是执行反向传播的方法之一，除此之外，您的定义是正确的。我们只是将生成的结果与期望值进行比较，并尝试改变分配给每条边的权重，以使误差尽可能低。如果更改后错误增加，它会恢复到以前的状态。您选择的学习率不能太低或太高，否则会导致梯度消失或梯度爆炸问题，您将无法达到最小误差。