估计优化模型的测试误差的正确方法

Question

上下文：

根据 Muller 的“Python 机器学习简介”推荐的工作流程，可以对流程开始时搁置的测试集进行单分评估：

与可以使用多个（不同）模型的嵌套交叉验证相比，这具有获得具有超参数集的给定模型的优势。

对单个测试集的评估给出了一个具有高方差的估计器。

问题：

有没有比这个单一分数更好的泛化误差估计的方法？ （即使这种方法需要更多的训练迭代）

Answer 1

工作流程很完美，但我认为您的模型需要一些工作。 您可以将数据集划分为训练/验证/测试集。然后，您可以使用交叉验证对您的训练数据进行训练，继续对验证集进行测试，直到获得好的结果，然后作为最后一步使用测试数据。