具有多个输出神经元的神经网络中的反向传播

【问题标题】：Back propagation in a neural network that has multiple output neurons具有多个输出神经元的神经网络中的反向传播
【发布时间】：2016-05-08 14:02:52
【问题描述】：

我目前正在关注本教程http://stevenmiller888.github.io/mind-how-to-build-a-neural-network/ 构建神经网络。但是我对反向传播部分感到困惑。如果有多个输出神经元我该怎么办？因为那样可能会有多个输出总和误差范围

Delta output sum = S'(sum) * (output sum margin of error) Delta output sum = S'(1.235) * (-0.77) Delta output sum = -0.13439890643886018

【问题讨论】：

标签： machine-learning neural-network backpropagation

【解决方案1】：

神经网络的输出通常是一个向量（多个神经元）。一般来说，你应该做的是定义一个将输出向量映射到实数的损失函数。例如，MSE（均方误差）是一个简单的选择，它只是使用第二范数（输出向量和标签向量之间的欧几里德距离）作为损失值。然后你可以像以前一样在反向传播期间取导数。现在唯一的区别是您现在应该对向量函数（多元函数）进行偏导。

【讨论】：

我十二岁，所以我还没有做过任何微积分，你有我需要的方程式吗？ +1 反正
当然，我只是偶然将我的derivations of BP 保留在 github 上。而here 是我前几天刚刚实现的一个玩具神经网络，可能对你有帮助（？）