【问题标题】:Backpropagation - how neuron-error influences the net parameters (weights, biases)反向传播 - 神经元错误如何影响网络参数(权重、偏差)
【发布时间】:2018-08-04 09:43:04
【问题描述】:

当我试图获得深度学习流程时,我找不到一个细节 -> 当我在每个神经元上遇到错误时(在反向传播流程中),接下来我应该如何处理所有错误。模型的校准是关于调整权重和偏差。但是我上的每一门课程都没有说明计算出的误差如何影响权重。 另一个问题是 - 如果我为每个训练示例执行反向传播......再次,每个神经元错误如何影响我的网络的整个权重(这对于所有训练示例都是通用的)。

感谢您的帮助

【问题讨论】:

    标签: machine-learning deep-learning artificial-intelligence backpropagation


    【解决方案1】:

    当我试图获得深度学习流程时,我找不到一个细节 -> 当我在每个神经元上遇到错误时(在反向传播流程中),接下来我应该如何处理所有错误。

    这并不完全正确,您的输出有一个损失函数,通常与某个标签进行比较。典型的 MSE 就是一个例子。

    你有你的误差函数,你基本上是在调整不同神经元的权重根据输出误差。如果你把误差函数的导数/梯度分解成链式法则,你可以看到如何调整每个神经元。查看此链接以获得详细说明 - https://brilliant.org/wiki/backpropagation/

    另一个问题是 - 如果我为每个训练>示例执行反向传播...再次,每个神经元错误如何影响我的网络的整个权重>(对于所有训练示例都是通用的)。

    通常每 batch 个示例执行反向传播。我建议阅读随机梯度下降,以了解为什么调整批次的神经元权重对整个训练集仍然有效。

    【讨论】:

      猜你喜欢
      • 2018-03-14
      • 2018-05-20
      • 2013-12-23
      • 2011-04-16
      • 2011-12-11
      • 2011-11-20
      • 2016-11-30
      • 2018-05-08
      • 2015-03-03
      相关资源
      最近更新 更多