如何在 Tensorflow 训练期间获得错误值？答案

【问题标题】：How can I get the value of the error during training in Tensorflow?如何在 Tensorflow 训练期间获得错误值？
【发布时间】：2016-06-24 08:02:53
【问题描述】：

在 TensorFlow MNIST 初学者教程中，代码摘录在这里：

cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))
train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)
sess = tf.Session()
sess.run(init)

#-----training loop starts here-----
for i in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})

是否可以在循环内访问/检索 cross_entropy 误差、权重和偏差的值？我想绘制误差，可能还有权重的直方图。

谢谢！

【问题讨论】：

看看TensorBoard。

标签： machine-learning tensorflow

【解决方案1】：

正如某些人所说，TensorBoard 就是为此目的。

这里我可以告诉你怎么做。

首先，让我们定义一个函数，用于记录张量的 min、max、mean 和 std-dev。

def variable_summaries(var, name):

  with tf.name_scope("summaries"):
    mean = tf.reduce_mean(var)
    tf.scalar_summary('mean/' + name, mean)

    with tf.name_scope('stddev'):
      stddev = tf.sqrt(tf.reduce_sum(tf.square(var - mean)))

    tf.scalar_summary('stddev/' + name, stddev)
    tf.scalar_summary('max/' + name, tf.reduce_max(var))
    tf.scalar_summary('min/' + name, tf.reduce_min(var))
    tf.histogram_summary(name, var)

然后，在构建如下图后创建汇总操作。此代码在“mnist_tf_log”目录中使用交叉熵保存了第一层的权重和偏差。

variable_summaries(W_fc1, "W_fc1")
variable_summaries(b_fc1, "b_fc1")
tf.scalar_summary("cross_entropy:", cross_entropy)

summary_op = tf.merge_all_summaries()
summary_writer = tf.train.SummaryWriter("mnist_tf_log", graph_def=sess.graph)

现在一切就绪。您可以通过返回 summary_op 来记录这些数据并将其传递给 summary_writer。

这是一个记录每 10 个训练步骤的示例。

for i in range(1000):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    if i % 10 == 0:
        _, summary_str = sess.run( [train_step, summary_op], feed_dict={x: batch_xs, y_: batch_ys})
        summary_writer.add_summary(summary_str, i)
        summary_writer.flush()
    else:
        sess.run( train_step, feed_dict={x: batch_xs, y_: batch_ys})

运行代码后执行 TensorBoard。

python /path/to/tensorboard/tensorboard.py --logdir=mnist_tf_log

然后您可以通过网络浏览器打开http://localhost:6006 来查看结果。

【讨论】：

【解决方案2】：

Tensorboard 正是为此而生的： https://www.tensorflow.org/versions/r0.7/how_tos/summaries_and_tensorboard/index.html

【讨论】：