超参数调优和分类算法对比

Question

我对分类算法比较有疑问。

我正在做一个关于数据集的超参数调整和分类模型比较的项目。 目标是为我的数据集找出具有最佳超参数的最佳拟合模型。

例如：我有 2 个分类模型（SVM 和随机森林），我的数据集有 1000 行和 10 列（9 列是特征），最后一列是 lable。

首先，我将数据集分成 2 部分 (80-10) 用于相应的训练（800 行）和测试（200 行）。之后，我使用 CV = 10 的网格搜索来调整具有这 2 个模型（SVM 和随机森林）的训练集的超参数。当为每个模型确定超参数后，我使用这两个模型的这些超参数再次测试训练集和测试集上的 Accuracy_score，以找出最适合我的数据的模型（条件：训练集上的 Accuracy_score

但是，SVM 显示训练集的 accuracy_score 为 100，测试集的 accuracy_score 为 83.56，这意味着调整超参数的 SVM 过度拟合。另一方面，随机森林显示训练集的accuracy_score为72.36，测试集的accuracy_score为81.23。很明显，SVM测试集的accuracy_score要高于Random Forest测试集的accuracy_score，但是SVM是过拟合的。

我有一些问题如下：

_ 当我对上述训练和测试集的accuracy_score 进行比较而不是使用交叉验证时，我的方法是否正确？ （如果使用交叉验证，怎么做？

_ 很明显上面的SVM是过拟合的，但是它的测试集accuracy_score高于Random Forest测试集的accuracy_score，我可以断定在这种情况下SVM是最好的模型吗？

谢谢！

Answer 1

很高兴您已经完成了相当多的分析来调查最佳模型。但是，我建议您稍微详细说明一下您的调查。当您正在为您的数据寻找最佳模型时，“准确度”本身并不是一个很好的模型评估指标。您还应该在 “Precision Score”、“Recall Score”、“ROC”、“Sensitivity”、“Specificity” 等方面评估您的模型。了解您的数据是否存在不平衡（如果存在，则是解决问题的技术）。在评估所有这些指标后，您可能会做出决定。

对于训练-测试部分，您走在正确的轨道上，只有一个问题（非常严重），即您在测试集上测试模型时，您正在注入一种偏见。所以我想说对你的数据做 3 个分区，并在你的 “训练集” 上使用交叉验证（sklearn 已经得到了你需要的东西），在交叉验证之后，你可以使用另一个分区“验证集” 用于测试模型的泛化能力（在未见数据上的性能），之后您可以更改一些参数。在您得出结论并调整所需的一切之后，才可以使用您的“测试集”。 无论结果如何（在测试集上），之后都不要更改模型，因为这些分数代表了模型的真正能力。

您可以通过以下方式为您的数据创建 3 个分区，例如 -

from sklearn.model_selection import train_test_split
 from sklearn.datasets import make_blobs
 
#  Dummy dataset for example purpose
 X, y = make_blobs(n_samples=1000, centers=2, n_features=2, cluster_std=6.0)

# first partition i.e. "train-set" and "test-set"
X_train, X_test, y_train, y_test = train_test_split(X, y, train_size=0.9, random_state=123)

# second partition, we're splitting the "train-set" into 2 sets, thus creating a new partition of "train-set" and "validation-set"
X_train, X_val, y_train, y_val = train_test_split(X_train, y_train, train_size=0.9, random_state=123)

print(X_train.shape, X_test.shape, X_val.shape)  # output : ((810, 2), (100, 2), (90, 2))

Answer 2

对于您的第二个问题，是的，您的 SVM 会过度拟合，尽管在大多数机器学习案例中，训练集的准确性并不重要。查看测试集的准确性更为重要。训练准确度比测试准确度高并不罕见，所以我建议不要过度拟合，只看测试准确度的差异。根据所提供的信息，是的，您可以说 SVM 是您案例中的最佳模型。

对于您的第一个问题，您已经在进行一种交叉验证，这是评估模型的一种可接受的方式。

This 可能是一篇对你有用的文章

Answer 3

我建议将您的数据分成三组，而不是两组：

1. 培训
2. 验证
3. 测试

正如您一直在做的那样，训练用于训练模型。验证集用于评估使用给定超参数集训练的模型的性能。然后使用最优的超参数集生成对测试集的预测，这既不是训练也不是超参数选择的一部分。然后，您可以比较分类器之间测试集的性能。

SVM 模型在验证数据集上的性能大幅下降确实表明过度拟合，尽管分类器在训练数据集上的表现通常优于评估或测试数据集。