交叉验证和分数

Question

在调整模型的超参数时，我正在使用训练数据集（即 X_train、y_train）。我需要使用测试数据集（即 X_test、y_test）作为最终检查，以确保我的模型没有偏差。 我写了

folds = 4

X_train, X_test, y_train, y_test = train_test_split(X,y, test_size=(1/folds), random_state=38, stratify=y)

clf_logreg = Pipeline(steps=[('preprocessor', preprocessing),
                      ('model', LogisticRegression(solver='lbfgs', max_iter=100))])


cv = KFold(n_splits=(folds - 1))
scores_logreg = cross_val_score(clf_logreg, X_train, y_train, cv = cv)

并且，要获得 f1 分数，

cross_val_score(clf_logreg, X_train, y_train, scoring=make_scorer(f1_score, average='weighted'),
    cv=cv)

返回

scores_logreg: [0.94422311, 0.99335548, 0.97209302] 对于 f1：[0.97201365, 0.9926906 , 0.98925453]

为了检查测试，写对吗

cross_val_score(clf_logreg, X_test, y_test, scoring=make_scorer(f1_score, average='weighted'), cv=cv) # not sure if it is ok to let cv

或许

predicted_logreg= clf_logreg.predict(X_test)
f1 = f1_score(y_test, predicted_logreg)

返回的值不同。

Answer 1

cross_val_score 用于通过交叉验证对模型进行评分，如果您这样做：

cross_val_score(clf_logreg, X_test, y_test, 
scoring=make_scorer(f1_score, average='weighted'), cv=cv)

您正在对您的测试集重新进行交叉验证，这没有多大意义，除了您现在在比您的火车更小的数据集上训练您的模型。

我认为 scikit learn 上的 help page on cross validation 说明了这一点，您无需在测试集上重新运行交叉验证：

你只要这样做：

predicted_logreg= clf_logreg.predict(X_test)
f1 = f1_score(y_test, predicted_logreg)