使用损失函数更新神经网络的权重答案

【问题标题】：Use of loss functions in updating weights of neural networks使用损失函数更新神经网络的权重
【发布时间】：2019-09-02 12:08:28
【问题描述】：

我对@987654321@ 行的使用感到困惑。

在进行反向传播时，输出应该是一个向量，因为从实际输出中减去每个输出神经元的预测输出，并且对所有输出神经元重复此操作，因此我们得到一个大小为(n,1) 的向量。如果我们使用tf.reduce_mean(tf.nn.l2_loss(prediction - output))，则输出是单个值。我无法理解如何传播这个单一值来更新权重。它不应该总是一个向量吗？

【问题讨论】：

标签： neural-network backpropagation loss-function

【解决方案1】：

你是正确的，损失必须是一个向量。但是，这一行

tf.reduce_mean

取批次的平均损失，而不是向量。见https://stats.stackexchange.com/questions/201452/is-it-common-practice-to-minimize-the-mean-loss-over-the-batches-instead-of-the

【讨论】：