10折交叉验证

Question

在 k 折中，我们有这个： 你把数据分成k个子集 （大约）大小相等。你训练网络 k 次，每次离开 从训练中取出一个子集，但仅使用省略的子集 计算您感兴趣的任何错误标准。如果 k 等于样本 大小，这称为“留一法”交叉验证。 “Leave-v-out”是一种 更复杂和昂贵的交叉验证版本，涉及 忽略所有可能的 v 案例子集。

“培训和测试”一词是什么意思？我不明白。

能否请您告诉我一些参考资料，我可以在哪里通过示例学习此算法？

Train classifier on folds: 2 3 4 5 6 7 8 9 10; Test against fold: 1
Train classifier on folds: 1 3 4 5 6 7 8 9 10; Test against fold: 2
Train classifier on folds: 1 2 4 5 6 7 8 9 10; Test against fold: 3
Train classifier on folds: 1 2 3 5 6 7 8 9 10; Test against fold: 4
Train classifier on folds: 1 2 3 4 6 7 8 9 10; Test against fold: 5
Train classifier on folds: 1 2 3 4 5 7 8 9 10; Test against fold: 6
Train classifier on folds: 1 2 3 4 5 6 8 9 10; Test against fold: 7
Train classifier on folds: 1 2 3 4 5 6 7 9 10; Test against fold: 8
Train classifier on folds: 1 2 3 4 5 6 7 8 10; Test against fold: 9
Train classifier on folds: 1 2 3 4 5 6 7 8 9;  Test against fold: 10  

Answer 1

简而言之： 训练是向算法提供反馈以调整其产生的分类器的预测能力的过程。

测试是确定算法生成的分类器的实际准确性的过程。在测试期间，为分类器提供前所未有的数据实例，以最终确认分类器的准确度与训练期间的准确度没有太大差异。

但是，您在中间缺少一个关键步骤：验证（这就是您在 10 折/k 折交叉验证中所指的内容）。

验证（通常）在每个训练步骤之后执行，其执行是为了帮助确定分类器是否过拟合。验证步骤不向算法提供任何反馈以调整分类器，但它有助于确定是否发生过拟合，并在何时终止训练时发出信号。

以下列方式思考这个过程：

1. Train on the training data set.
2. Validate on the validation data set.
if(change in validation accuracy > 0)
   3. repeat step 1 and 2
else
   3. stop training
4. Test on the testing data set.

Answer 2

在k-fold方法中，你必须将数据分成k段，其中k-1段用于训练，而留出1段用于测试。做k次，第一次，第一段用于测试，剩余的用于训练，然后第二段用于测试，剩余的用于训练，以此类推。从你的 10 折示例中可以清楚地看到，所以应该很简单，再读一遍。

现在关于什么是培训和什么是测试：

分类训练是创建分类模型的部分，使用一些算法，创建训练模型的流行算法有 ID3、C4.5 等。

测试是指通过在测试数据上运行模型来评估分类模型，然后创建混淆矩阵，然后计算模型的准确率和错误率。

在K-fold方法中，创建了k个模型（从上面的描述中可以清楚地看出）并选择最准确的分类模型。