我有一个模型，每个 epoch 后都有 N 输入和 6 输出。
我的输出看起来像[x y z xx yy zz]，我想最小化每个术语的 MSE。但是，我注意到当我使用 MSE 作为损失函数时，它只是取整个集合的平方和的平均值。
【问题讨论】：
标签： tensorflow keras loss mse
我认为它们的含义相同。让我们用[x_i, y_i, z_i, xx_i, yy_i, zz_i] 表示您对i^th 样本的预测。真实值用[t_x_i, t_y_i, t_z_i, t_xx_i, t_yy_i, t_zz_i]表示
在一批N 样本中，您想要最小化：
L = \sum_i=1^N ((x_i-t_x_i)^2)/N + ... + \sum_i=1^N ((zz_i-t_zz_i)^2)/N
MSE 损失将最小化以下情况：
L = (1/N) * \sum_i=1^N ((1/6) * [(x_i - t_x_i)^2 + ... + (zz_i-t_zz_i)^2])
你可以看到两者最终都最小化了相同的数量。
如果您的六个输出是自变量，我认为这将成立，因为您将它们建模为具有六个基本事实标签的六个不同输出。
【讨论】：
mean(mean((pred-true)**2,axis=-1), axis=0)。
x 到 zz。我的答案中包含所有六个维度（现在进行了一些编辑）。无论如何，让我们考虑一下您的表达方式。最小化mean(mean((pred-true)**2,axis=-1), axis=0) 意味着优化器将尝试最小化mean((pred-true)**2,axis=-1) 中的每个术语，进而最小化(pred-true)**2 中的每个术语，因为每个术语都是自变量（除非明确说明，否则我假设它们是独立变量）。见this。
(1/(N*N_x) f(x) + 1/(N*N_y) + f(y) + ...)，而合并后会减少到(1/(N*(N_x+N_y+...)) ...，这是不等价的。
N_x, N_y, ..., N_zz。但是，我认为 OP 的设置并不相似。他有六个输出，所以最后一个 FC 层中有六个神经元。我假设这六个输出中的每一个都是标量。所以在我的例子中，N_x, ..., N_zz 都等于一。一旦有时间，我可能会以简洁的方式写下来。
您必须创建一个等于 MSE 的张量并将其最小化。
mse = tf.reduce_mean(tf.square(outputs))
train_step = tf.train.*Optimizer(...).minimize(mse)
for _ in range(iterations):
sess.run(train_step ... )
【讨论】：