使用 TensorFlow 进行“在线”验证

Question

我的数据是一组匹配和结果，按时间顺序列出。通常，出于“离线”验证的目的，我会运行以下代码来测试我的算法的运行情况：

# train
for matches_batch, outcomes_bach in train_data:
    sess.run(optimizer, feed_dict={matches: matches_batch, outcomes: outcomes_batch})

# offline validation (just compute accuracy on test set)
test_accuracy = sess.run(accuracy, feed_dict={matches: test_matches, outcomes: test_outcomes})
print 'test accuracy = {:.2%}'.format(test_accuracy)

但是，在现实世界中。事情将“在线”完成，我在离线时训练一堆匹配，然后每次我预测一个新匹配时，我也会通过使用结果运行优化器来更新我的模型参数，如下所示：

# train
for matches_batch, outcomes_bach in train_data:
    sess.run(optimizer, feed_dict={matches: matches_batch, outcomes: outcomes_batch})

# online validation (update accuracy and model with each new data point)
test_accuracy = 0.0
for match, outcome in zip(test_matches, test_outcomes):
    _, acc = sess.run([optimizer, accuracy], feed_dict={matches: [match], outcomes: [outcome])
    test_accuracy += acc / len(test_matches)
print 'test accuracy = {:.2%}'.format(test_accuracy)

问题是上述在线测试的实现（这是验证方案here的一部分）很慢。

有没有办法通过 tensorflow 来加快在线验证的速度？

Answer 1

快速浏览论文后，我的想法如下：

• 他们用几个（数量未知）样本而不是一个样本来更新他们的模型 - 可以说他们采取了足够的样本来填充一个小批量。
• 然后他们验证一次。

这对您的实施意味着什么：

• 您无需在线重新训练整个折叠，只需在小批量上进行
• 您不必一次计算一个样本的验证准确度，而采用更快的方法（小批量，甚至是您的代码中的整个数据集，如果您负担得起的话）。

以上两点应该可以显着加快速度。

最后，不要使用测试来代替验证，尤其是在涉及对其进行培训时。