为什么使用交叉验证从 GridSearch 运行 best_estimator_ 会产生不同的准确度分数？

Question

基本上，我想使用 sk-learn 的 SVM (SVC) 执行二进制分类。由于我没有单独的训练和测试数据，我使用交叉验证来评估我使用的特征集的有效性。

然后，我使用 GridSearchCV 找到最佳估计器，并将交叉验证参数设置为 10。因为我要分析预测结果，所以我使用最佳估计器使用相同的数据集进行交叉验证（当然我使用 10 倍交叉验证）。

但是，当我打印性能分数（精度、召回率、f-measure 和准确率）时，它会产生不同的分数。你认为为什么会发生这种情况？

我想知道，在 sk-learn 中，我应该指定正面的标签吗？在我的数据集中，我已经将正例标记为 1。

最后，以下文本是我的代码的 sn-p。

tuned_parameters = [{'kernel': ['linear','rbf'], 'gamma': [1e-5, 1e-4, 1e-3, 1e-2, 1e-1, 1, 10],  'C': [0.1, 1, 5, 10, 50, 100, 1000]}]
scoring = ['f1_macro', 'precision_macro', 'recall_macro', 'accuracy']
clf = GridSearchCV(svm.SVC(), tuned_parameters, cv=10, scoring= scoring, refit='f1_macro')
clf.fit(feature, label)
param_C = clf.cv_results_['param_C']
param_gamma = clf.cv_results_['param_gamma']
P = clf.cv_results_['mean_test_precision_macro']
R = clf.cv_results_['mean_test_recall_macro']
F1 = clf.cv_results_['mean_test_f1_macro']
A = clf.cv_results_['mean_test_accuracy']
#print clf.best_estimator_
print clf.best_score_
scoring2 = ['f1', 'precision', 'recall', 'accuracy']
scores = cross_validate(clf.best_estimator_, feature, label, cv=n, scoring=scoring2, return_train_score=True)
print scores
scores_f1 = np.mean(scores['test_f1'])
scores_p = np.mean(scores['test_precision'])
scores_r = np.mean(scores['test_recall'])
scores_a = np.mean(scores['test_accuracy'])
print '\t'.join([str(scores_f1), str(scores_p), str(scores_r),str(scores_a)])

Answer 1

这可能是由于cross_validate 和GridSearchCV 使用的交叉验证拆分不同，由于随机性。这种随机性的影响变得更大，因为您的数据集非常小 (93) 并且折叠数非常大 (10)。一个可能的解决方法是向cv 输入一个修复训练/测试拆分，并减少折叠数以减少方差，即

kfolds=StratifiedKFold(n_splits=3).split(feature, label)
...
clf = GridSearchCV(..., cv=kfolds, ...)
...
scores = cross_validate(..., cv=kfolds, ...)