TensorFlow：实现均方误差

Question

我目前正在学习 TensorFlow，遇到了this notebook。

我对如何实现均方误差成本函数有疑问：

import tensorflow as tf 
import numpy as np 

predicted = np.array([1,2,3])
Y = np.array([4,5,6])
num_instances = predicted.shape[0]

cost = tf.reduce_sum(tf.pow(predicted-Y, 2))/(2*num_instances)
cost2 = tf.reduce_mean(tf.square(predicted - Y))

with tf.Session() as sess:
  print(sess.run(cost))
  print(sess.run(cost2))

我不明白为什么它必须将第一个成本函数的分母乘以 2。我从 MSE 的不同实现中得到了不同的答案，成本产生 4.5 而成本 2 产生 9。遵循均方公式错误，我应该得到一个 9 的值。但是第一个成本函数是在我试图学习的 python 笔记本中实现的。

Answer 1

cost 和 cost2 之间的区别恰好是 2 中的 2*num_instances。基本上，

cost = tf.reduce_sum(tf.pow(predicted-Y, 2))/(2*num_instances)
cost2 = tf.reduce_sum(tf.pow(predicted-Y, 2))/(num_instances)

标量2 对学习的影响不大，它相当于将学习率乘以2。请注意，无论您使用什么公式和网络拓扑，您仍然需要选择合理的超参数，包括学习率。

您可以尝试检查两个损失函数的收敛性，我怀疑它们的表现相同。这意味着两个公式都很好，第二个更容易实现。