【问题标题】:Backpropagation - how neuron-error influences the net parameters (weights, biases)反向传播 - 神经元错误如何影响网络参数(权重、偏差)
【发布时间】:2018-08-04 09:43:04
【问题描述】:
当我试图获得深度学习流程时,我找不到一个细节 -> 当我在每个神经元上遇到错误时(在反向传播流程中),接下来我应该如何处理所有错误。模型的校准是关于调整权重和偏差。但是我上的每一门课程都没有说明计算出的误差如何影响权重。
另一个问题是 - 如果我为每个训练示例执行反向传播......再次,每个神经元错误如何影响我的网络的整个权重(这对于所有训练示例都是通用的)。
感谢您的帮助
【问题讨论】:
标签:
machine-learning
deep-learning
artificial-intelligence
backpropagation
【解决方案1】:
当我试图获得深度学习流程时,我找不到一个细节 -> 当我在每个神经元上遇到错误时(在反向传播流程中),接下来我应该如何处理所有错误。
这并不完全正确,您的输出有一个损失函数,通常与某个标签进行比较。典型的 MSE 就是一个例子。
你有你的误差函数,你基本上是在调整不同神经元的权重根据输出误差。如果你把误差函数的导数/梯度分解成链式法则,你可以看到如何调整每个神经元。查看此链接以获得详细说明 - https://brilliant.org/wiki/backpropagation/。
另一个问题是 - 如果我为每个训练>示例执行反向传播...再次,每个神经元错误如何影响我的网络的整个权重>(对于所有训练示例都是通用的)。
通常每 batch 个示例执行反向传播。我建议阅读随机梯度下降,以了解为什么调整批次的神经元权重对整个训练集仍然有效。