在 GridSearchCV 中使用 sample_weight

Question

是否可以执行 GridSearchCV（以获得最佳 SVM 的 C）并使用 scikit-learn 指定 sample_weight？

这是我的代码和我遇到的错误：

gs = GridSearchCV(
    svm.SVC(C=1),
    [{
        'kernel': ['linear'],
        'C': [.1, 1, 10],
        'probability': [True],
        'sample_weight': sw_train,
    }]
)

gs.fit(Xtrain, ytrain)

>> ValueError：估计器 SVC 的参数 sample_weight 无效

---

编辑：我通过获取最新的 scikit-learn 版本并使用以下内容解决了这个问题：

gs.fit(Xtrain, ytrain, fit_params={'sample_weight': sw_train})

Answer 1

只是想解决这个长期悬而未决的问题......

您需要获取最新版本的 SKL 并使用以下内容：

gs.fit(Xtrain, ytrain, fit_params={'sample_weight': sw_train})

但是，将fit_params 传递给构造函数更符合文档：

gs = GridSearchCV(svm.SVC(C=1), [{'kernel': ['linear'], 'C': [.1, 1, 10], 'probability': [True], 'sample_weight': sw_train}], fit_params={'sample_weight': sw_train})

gs.fit(Xtrain, ytrain)

Answer 2

以前的答案现在已经过时了。字典fit_params 应该传递给fit 方法。

来自GridSearchCV 的文档：

fit_params：字典，可选

传递给 fit 方法的参数。

自 0.19 版起已弃用：作为构造函数参数的 fit_params 在 0.19 版中已弃用，并将在 0.21 版中删除。而是将 fit 参数传递给 fit 方法。

Answer 3

在0.16.1版本中，如果使用Pipeline，需要将参数传递给GridSearchCV构造函数：

clf = pipeline.Pipeline([('svm', svm_model)])
model = grid_search.GridSearchCV(estimator = clf, param_grid=param_grid,
    fit_params={'svm__sample_weight': sw_train})

Answer 4

以下适用于 Sklearn 0.23.1，

grid_cv = GridSearchCV(clf, param_grid=param_grid,
                       scoring='recall', n_jobs=-1, cv=10)

grid_cv.fit(x_train_orig, y=y_train_orig,
            sample_weight=my_sample_weights)

Answer 5

OP 的编辑和其他答案并不完全正确。虽然拟合 fit_params={'sample_weight': weights} 有效，但这些权重不会用于计算验证损失！ (github issue)。

因此，交叉验证将报告未加权损失，因此超参数调整可能会被引导到错误的方向。

这是我使用准确性作为指标对类权重进行交叉验证的解决方法。还应该与其他指标一起使用。

from sklearn.metrics import accuracy_score
from sklearn.utils import compute_sample_weight
from sklearn.metrics import make_scorer


def weighted_accuracy_eval(y_pred, y_true, **kwargs):
    balanced_class_weights_eval = compute_sample_weight(
        class_weight='balanced',
        y=y_true
    )
    out = accuracy_score(y_pred=y_pred, y_true=y_true, sample_weight=balanced_class_weights_eval, **kwargs)
    return out


weighted_accuracy_eval_skl = make_scorer(weighted_accuracy_eval)

gridsearch = GridSearchCV(
    estimator=model,
    scoring=weighted_accuracy_eval,
    param_grid=paramGrid,
)

cv_result = gridsearch.fit(
    X_train,
    y_train,
    fit_params=fit_params
)