【发布时间】：2019-11-29 15:45:11
【问题描述】：
在机器学习中，我们使用验证集来调整超参数。但我对验证集的来源感到困惑。它是训练集的一部分吗？这意味着，该模型之前已经看过数据。还是它像测试集，即模型从未见过的数据？我真的很困惑..
【问题讨论】：
标签： validation machine-learning model
【发布时间】：2019-11-29 15:45:11
【问题描述】：
您应该将训练数据分成两部分，如您所提到的，一部分用于训练，另一部分用于验证。
您在第一部分训练数据，同时根据验证分数设置超参数。通常使用 80%-20% 的拆分，根据您拥有的数据量，其他值可能没问题。
为了对您的算法进行最终评估，请使用另一个单独的测试集，该测试集未包含在训练或超参数搜索中。
【讨论】：
-
我同意他们应该分开。但是，为什么顶级场所的一些论文也使用 val 数据集进行测试？
-
@dusa 这是一个不同讨论的话题。我假设您正在谈论深度学习（因为这主要是顶级会议）。问题是甚至训练这些算法都需要大量时间和资源，而且它们确实需要大量数据才能工作（因此有时会忽略
test）。它有时也用于推动 SOTA 并使研究论文看起来更好。总而言之，这取决于进行适当测试且未手动微调每个可能的超参数的作者的工作（尽管他们可能因此而获得较少的认可）。 -
理论上是正确的，但是考虑到我想将我的实验结果与没有在没有这些拆分的数据集上使用单独的 val/test 拆分的现有工作进行比较（正如我提到的那样拆分有点挑战性 - 它减少了培训的变化），所以我想知道共识是什么，或者有什么理由证明顶级会议上的一些工作在没有“适当测试”的情况下通过。
-
当我在这个数据集上提交了我自己的正确拆分时，审阅者会因为精度高而标准偏差低（平均 10 次实验)。我做了极端的数据扩充，创建了一个单独的 val 拆分，并进行了 10 倍测试，但是这篇特定的论文在没有单独拆分的情况下通过了。我们的方法也非常相似。顺便说一句，我的每个类别的结果在 70-90 之间。他们关于“可能过度拟合”的基础是如此随机
-
@dusa 我对你有感觉，但我们在简单的问题和简单的答案下制造噪音。当谈到 DL 时，共识通常是训练/验证与遗漏的测试集，所以你不能过度适应它。但它因问题而异。当谈到什么证明它是困难的时，没有确凿的证据，但我认为结果永远/接近永远不会被审稿人验证。说到你，评论者可能错了，因为硬核增强远没有过拟合，恰恰相反。这个领域有时会很苛刻而且不正当，我只能这么说。