如何训练测试拆分和交叉验证[重复]

Question

我仍然对数据验证工作流程感到困惑。据我了解，当我获得数据集时，我使用train_test_split 将数据分成两部分，训练集和测试集。然后，我在训练集上执行cross_val_score 或cross_val_predict 以进行模型选择和超参数调整。然后，我在测试集上执行所选模型以查看模型性能。我理解正确吗？或者我可以在不使用train_test_split的情况下对整个数据集执行cross_val_score和cross_val_predict

Answer 1

是的，可以使用 cross_val_score /cross_val_predict 进行模型选择和参数调整。它还允许您选择要判断模型的指标。所以你基本上是在交叉验证结果之后选择你的模型和参数，看看它是否能很好地与测试数据和现实世界数据进行泛化。