了解 sklearn 交叉验证中的数据平衡

Question

我目前正在尝试对我非常不平衡的数据运行 sklearn 的 RepeatedStratifiedKFold 交叉验证。我正在使用带有class_weight='balanced' 参数的LogisticRegression 模型，据我所知，它应该平衡我的数据。有了这个，我运行cross_val_score() 方法。我在这里粘贴了一些我的代码的 sn-p：

model = LogisticRegression(penalty='l1', solver='liblinear',
                max_iter=1000, class_weight='balanced')
cv = RepeatedStratifiedKFold(n_splits=5, n_repeats=2, random_state=1)
accuracy = cross_val_score(model, X, y, scoring='accuracy', cv=cv, n_jobs=-1)
precision = cross_val_score(model, X, y, scoring='precision', cv=cv, n_jobs=-1)
recall = cross_val_score(model, X, y, scoring='recall', cv=cv, n_jobs=-1)

我得到的结果显示平均准确率非常高 (94%)，平均准确率 (5%) 和召回率 (1%) 非常低。这让我感到困惑，因为我能看到这种情况发生的唯一方法是，如果我在一个类中的示例比另一个类多，这让我感到困惑，因为我认为我的逻辑回归模型平衡了数据。

我想知道我的交叉验证是否仅将这种平衡应用于它所做的训练拆分而不是测试拆分。这将解释我如何能有如此高的准确率和低准确率/召回率。

或者，如果有人知道使用RepeatedStratifiedKFold 为我的交叉验证打印出混淆矩阵甚至预测的方法，那将非常有帮助！这些方法似乎不适用于我选择的 cross val，但我希望能够通过查看数据和/或分类结果进行调试。

Answer 1

为了评估模型性能，目标可能高度偏斜。即使使用class_weights='balanced'，分类器也无法很好地预测少数类。这就是为什么该模型做出了许多低预测（predict_proba 更接近于 0），因此通常预测多数类并具有较高的准确度分数。

您可以尝试的方法是代替class_weights='balanced'，您可以为少数类分配更多权重。例如，class_weights={0:1, 1:3} 将使 0 类的权重为 1，1 类的权重为 3。