K-fold 交叉验证查询

Question

我正在尝试执行 K-Fold Cross Validation 和 GridSearchCV 来优化我的 Gradient Boost 模型——点击链接—— https://www.analyticsvidhya.com/blog/2016/02/complete-guide-parameter-tuning-gradient-boosting-gbm-python/

我对下面的模型报告截图有几个问题：

1) 0.814365的精度是如何计算的？它在脚本中的哪个位置进行训练测试拆分？如果将 cv_folds=5 更改为 cv_folds=any 整数，那么精度仍然是 0.814365。事实上，删除 cv_folds 并输入 performCV=False 也可以提供相同的精度。

（注意我的 sk learn No CV 80/20 train test 的准确度约为 0.79-0.80）

2) 同样，AUC 分数（训练）是如何计算的？这应该是 ROC-AUC 而不是 AUC 吗？我的 sk learn 模型给出的 AUC 约为 0.87。与准确性一样，这个分数似乎是固定的。

3) 为什么平均 CV 分数比 AUC（训练）分数低这么多？看起来他们都在使用 roc_auc（我的 sklearn 模型为 ROC AUC 提供了 0.77）

df = pd.read_csv("123.csv")

target = 'APPROVED'  #item to predict
IDcol = 'ID'


def modelfit(alg, ddf, predictors, performCV=True, printFeatureImportance=True, cv_folds=5):
    #Fit the algorithm on the data
    alg.fit(ddf[predictors], ddf['APPROVED'])

    #Predict training set:
    ddf_predictions = alg.predict(ddf[predictors])
    ddf_predprob = alg.predict_proba(ddf[predictors])[:,1]

    #Perform cross-validation:
    if performCV:
        cv_score = cross_validation.cross_val_score(alg, ddf[predictors], ddf['APPROVED'], cv=cv_folds, scoring='roc_auc')

    #Print model report:
    print ("\nModel Report")
    print ("Accuracy : %f" % metrics.accuracy_score(ddf['APPROVED'].values, ddf_predictions))
    print ("AUC Score (Train): %f" % metrics.roc_auc_score(ddf['APPROVED'], ddf_predprob))

    if performCV:
        print ("CV Score : Mean - %.5g | Std - %.5g | Min - %.5g | Max - %.5g" % (npy.mean(cv_score),npy.std(cv_score),npy.min(cv_score),npy.max(cv_score)))

    #Print Feature Importance:
    if printFeatureImportance:
        feat_imp = pd.Series(alg.feature_importances_, predictors).sort_values(ascending=False)
        feat_imp.plot(kind='bar', title='Feature Importances')
        plt.ylabel('Feature Importance Score')


#Choose all predictors except target & IDcols
predictors = [x for x in df.columns if x not in [target, IDcol]]
gbm0 = GradientBoostingClassifier(random_state=10)
modelfit(gbm0, df, predictors)

Answer 1

您的cv_score 看起来很低的主要原因是因为将其与训练准确度进行比较并不是一个公平的比较。您的训练准确度是使用用于拟合模型的相同数据计算的，而cv_score 是交叉验证中测试折叠的平均分数。正如您可以想象的那样，一个模型将使用它已经训练过的数据进行更好的预测，而不是必须根据模型以前从未见过的新数据进行预测。

您的accuracy_score 和auc 计算似乎是固定的，因为您在计算中始终使用相同的输入（ddf["APPROVED"]、ddf_predictions 和ddf_predprob）。 performCV 部分实际上并不转换任何这些数据集，因此如果您使用相同的模型、模型参数和输入数据，您将获得与计算相同的预测。

根据您的 cmets，cv_score 准确度可能低于您的完整测试集的准确度的原因有很多。主要原因之一是当您使用完整的训练集而不是使用每个 cv 折叠的训练数据子集时，您允许您的模型访问更多数据进行训练。如果您的数据大小不是那么大，则尤其如此。如果您的数据集不大，那么这些数据在训练中更重要，可以提供更好的性能。