通过 GridSearchCV 使用多指标评估答案

【问题标题】：Using Multiple Metric Evaluation with GridSearchCV通过 GridSearchCV 使用多指标评估
【发布时间】：2019-05-27 03:59:39
【问题描述】：

我正在尝试在 GridSearchCV 中使用多个指标。我的项目需要多个指标，包括“准确性”和“f1 分数”。但是，在遵循 sklearn 模型和在线帖子之后，我似乎无法让我的工作。这是我的代码：

from sklearn.model_selection import GridSearchCV
from sklearn.metrics import f1_score
clf = KNeighborsClassifier()

param_grid = {'n_neighbors': range(1,30), 'algorithm': ['auto','ball_tree','kd_tree', 'brute'], 'weights': ['uniform', 'distance'],'p': range(1,5)}

#Metrics for Evualation:
met_grid= ['accuracy', 'f1'] #The metric codes from sklearn

custom_knn = GridSearchCV(clf, param_grid, scoring=met_grid, refit='accuracy', return_train_score=True)

custom_knn.fit(X_train, y_train)
y_pred = custom_knn.predict(X_test)

我的错误发生在custom_knn.fit(X_train,y_train)。此外，如果您注释掉scoring=met_grid, refit='accuracy', return_train_score=True，它会起作用。这是我的错误：

ValueError: Target is multiclass but average='binary'. Please choose another average setting.

另外，如果您能解释多指标评估或将我推荐给可以的人，那将不胜感激！
谢谢

【问题讨论】：

请同时发布您看到的错误。

标签： python scikit-learn gridsearchcv

【解决方案1】：

f1 是一个二元分类度量。对于多类分类，您必须根据不同的聚合使用averaged f1。您可以在 Sklearn here 中找到详尽的评分列表。

试试这个！

scoring = ['accuracy','f1_macro']

custom_knn = GridSearchCV(clf, param_grid, scoring=scoring, 
                          refit='accuracy', return_train_score=True,cv =3)

【讨论】：

非常感谢！那行得通。现在，试图理解：我的 knn 分类器现在正在尝试以准确率和 f1 分数作为整体指标来优化超参数？
@TannerClark 不，它只会优化refit 中的得分手。所以在上面的代码中，accuracy 正在被优化。 f1 刚刚被监控。