libsvm 中的 Holdout 与 K 折交叉验证答案

【问题标题】：Holdout vs. K fold cross validation in libsvmlibsvm 中的 Holdout 与 K 折交叉验证
【发布时间】：2016-04-05 14:25:27
【问题描述】：

我正在使用 libsvm 进行分类任务。我有一个 10 折交叉验证，其中 F1 分数为 0.80。但是，当我将训练数据集一分为二（一个用于训练，另一个用于测试，我称之为保持测试集）时，F1 分数下降到 0.65。拆分比例为 0.8 到 0.2。

所以，我的问题是，进行 k 折交叉验证与保持测试有什么显着差异吗？这两种技术中的哪一种会产生一个泛化良好的模型？在这两种情况下，我的数据集都是按比例缩放的。

【问题讨论】：

【解决方案1】：

不同之处在于使用了一次拆分，如果您尝试另一种将数据拆分为训练/测试的方式（可能通过改组），您将获得另一个值。因此，创建几组并对所有 F1 分数进行平均将得出与 CV 等效的结果。而且 CV 泛化效果更好。

【讨论】：

【解决方案2】：

存在巨大差异，但准确的分析需要大量统计数据。如需深入了解，请参阅 Hastie、Tibshirani 和 Friedman 的 The Elements of Statistical Learning: Data Mining, Inference, and Prediction。

简而言之：

【讨论】：