交叉验证如何在学习曲线中发挥作用？蟒蛇学习

Question

假设我的学习曲线是sklearn learning curve SVM。而且我还在进行 5 折交叉验证，据我了解，这意味着将您的 训练 数据分成 5 份，对其中的四个进行训练并在最后一个上进行测试。

所以我的问题是，由于LearningCurve中的每个数据点，训练集的大小都是不同的（因为我们想看看模型随着数据量的增加会如何表现），那么交叉-在这种情况下验证工作？它仍然将整个训练集分成 5 个相等的部分吗？还是将当前点训练集分成五个不同的小块，然后计算测试分数？是否可以获得每个数据点的混淆矩阵？ （即真阳性、真阴性等）。我还没有看到基于 sklearn 学习曲线代码的方法。

交叉验证的折叠次数与我们在train_sizes = np.linspace(0.1, 1.0, 5) 中拆分多少训练集有关吗？

train_sizes, train_scores, test_scores, fit_times, _ = learning_curve(estimator,
                                                                      X, y, cv, 
                                                                      n_jobs, scoring, 
                                                                      train_sizes)

谢谢！

Answer 1

不，它再次将训练数据分成 5 折。相反，对于训练折叠的特定组合（例如 - 折叠 1、2、3 和 4 作为训练），它将仅从这 4 个训练折叠中选择 k 个数据点（x-tick）作为训练。测试折叠将用作测试数据。

如果您查看代码here，您会更清楚。

for train, test in cv_iter:
     for n_train_samples in train_sizes_abs:
          train_test_proportions.append((train[:n_train_samples], test))

n_train_samples 将类似于 [200,400,...1400] 对于您提到的情节。

交叉验证的折叠次数与我们在 train_sizes = np.linspace(0.1, 1.0, 5) 中拆分的训练集的数量有关吗？

我们不能为某个train_sizes 分配任意数量的折叠。它只是来自所有训练折叠的数据点的一个子集。