使用分区基准数据集进行机器学习参数调整

Question

我知道这将是非常基本的，但是我真的很困惑，我想更好地理解参数调整。

我正在处理一个基准数据集，该数据集已经划分为训练、开发和测试三个部分，我想使用来自sklearn 的GridSearchCV 调整我的分类器参数。

调整参数的正确分区是什么？是发展还是培训？

我在文献中看到研究人员提到他们“在开发拆分中使用 GridSearchCV 调整参数”另一个例子是 here；

他们的意思是他们在训练阶段进行了训练，然后在开发阶段进行了测试？还是 ML 从业者通常意味着他们完全在开发拆分时执行 GridSearchCV？

非常感谢您的澄清。谢谢，

Answer 1

通常在 3 路拆分中，您使用训练集训练模型，然后在开发集（也称为验证集）上对其进行验证以调整超参数，然后在所有调整完成后执行最终在未见的测试集（也称为评估集）上评估模型。

在双向拆分中，您只有一个训练集和一个测试集，因此您在同一个测试集上执行调整/评估。