K-fold 交叉验证/分区模型答案

【问题标题】：K-fold cross validation / partitioned modelsK-fold 交叉验证/分区模型
【发布时间】：2018-09-11 07:37:59
【问题描述】：

我有一个包含 41 个样本和 6 个预测变量的数据集。我在 Matlab 中使用 treebagger 来分类树。尽管 oob 误差很高，但该模型准确地预测了所有 41 个标签。

但后来我尝试使用 k 折对模型进行交叉验证，验证准确率仅为 41%。我对此感到困惑。

我的另一个问题是，当我尝试交叉验证已经构建的集成模型时，k-fold 算法是如何工作的。任何帮助将非常感激。

【问题讨论】：

如果我理解正确，您有 41 个样本用于训练和测试？您在相同的 41 个样本上进行训练和测试？请提供更多详细信息。
是的，我只有 41 个样本用于训练和测试。我使用 treebagger 对 41 个样本进行了训练，然后测试了相同的 41 个样本，所有样本都得到了准确的预测。然而，训练模型的 k-fold 验证准确率仅为 41%。

【解决方案1】：

您不能对相同的数据进行训练和测试。验证毫无意义。

K-fold 交叉验证是为了防止这种情况。您在一个子集上进行训练并在其余元素上进行测试。用随机子集冲洗和重复以提高验证准确度（而不是分类准确度）。

您无法使用 k 折交叉验证测试已构建的分类器。这没有任何意义。

【讨论】：