在训练期间评估测试错误的最佳方法是什么？

Question

我有一个使用 TensorFlow 训练的神经网络。实际上，在每次迭代中，我都可以计算传递给优化器的训练成本。我的实现的伪代码是：

def defineNetworkStructure(): # layers 
    ...

def feedForward():
    ...

def defineCost():
    ...

def defineOptimizer():
    opt = ...

def train(train_X, train_Z, ...):
    with tf.Session() as sess:
        sess.run(tf.global_variables_initializer())
        for i in range(N):
            _, ith_cost = sess.run([opt, cost], feed_dict={X:train_X, Y:train_Y})

            print("Cost at {} is {}".format(i, ith_cost))

现在，在循环中，我想插入如下内容：

ith_cost = sess.run([opt, cost], feed_dict={X:test_X, Y:test_Y})

注意： test_X 和 test_Y 而不是 train_X 和 train_Y。

但是，如果我这样做，我会修改 tensorflow 变量 cost 的值，因此（但我不确定）我会影响优化过程。

在 tensorflow 中实现此任务的最佳方法是什么？

Answer 1

您在这里错过的是，您不应该在 test_X 和 test_Y 上运行 opt。

只需执行sess.run(cost, feed_dict={X:test_X, Y:test_Y}) 将输出您的测试损失，并且不会影响训练或优化过程。