具有多个输出的反向传播

Question

我目前正在编写一个神经网络模块，并且我已经了解一切如何仅使用一个输出。但是当有多个输出时，我被告知要总结每个输出的误差以计算损失函数，这对我来说没有任何意义，因为那时我们真的不知道哪个突触/权重负责错误。 例如，我们有一个形状为 2|1|2（输入、隐藏、输出）的 NN…… 所以隐藏层中的神经元通过一些权重连接到每个输出神经元。如果我们现在向前传播并接收每个输出神经元的误差并将该误差相加，则与隐藏层中的神经元连接的每个权重都将调整完全相同的量。如果我弄错了或者我理解错了什么，现在有人吗？

Answer 1

我想你误解了，损失函数通常是为每个输出单独计算以进行反向传播的。如果您想知道输出中的总错误来跟踪您的进度，那么我想您可以使用错误的总和。