如何正确评估神经网络模型？

Question

我目前正在为我的神经网络进行超参数优化。

我有给我的训练、开发和测试文件。对于我的超参数优化，我正在使用训练集和开发集进行完整的训练。最后，我对给定参数组合的训练测试集进行评估。

我正在选择最大化测试集分数的参数。我的问题是我觉得这是错误的，因为我有点泄露了测试集。

这个程序不好吗？我应该使用 optunity 来最大限度地提高开发集的准确性并最终报告测试集的分数吗？

Answer 1

通常，验证（开发）集用于比较具有各种超参数的模型。一旦选择并训练了您的首选模型，您就可以在测试集上运行它以测量其性能。

你的直觉是正确的；使用测试集来选择模型参数在某种意义上是使用该数据来辅助训练过程，这是不可取的。

训练/验证/测试集的划分和使用在 Andrew Ng 的 this post 和 this video 中有更详细的讨论。