如何处理分类器中的不平衡类？

Question

我正在使用 LinearSVM 将我的文档分类。但是，我的数据集不平衡，有些类别下有 48,000 个文档，有些只有 100 个。当我训练我的模型时，即使使用 Stratified KFold，我发现具有 48,000 个文档的类别获得了更大的文档部分（3300）与其他人相比。在这种情况下，它肯定会给我有偏见的预测。如何确保此选择没有偏见？

kf=StratifiedKFold(labels, n_folds=10, shuffle=True)

for train_index, test_index in kf:
     X_train, X_test = docs[train_index],docs[test_index]
     Y_train, Y_test = labels[train_index],labels[test_index] 

然后我将这些(X_train, Y_train) 写入文件，计算特征矩阵并将它们传递给分类器，如下所示：

model1 = LinearSVC()
model1 = model1.fit(matrix, label_tmp)
pred = model1.predict(matrix_test)
print("Accuracy is:")
print(metrics.accuracy_score(label_test, pred))
print(metrics.classification_report(label_test, pred))

Answer 1

默认情况下，StratifiedKFold 方法会考虑所有类中标签的比率，这意味着每个折叠将具有该样本中每个标签的精确（或接近精确）比率。是否要对此进行调整在某种程度上取决于您 - 您可以让分类器为具有更多样本的标签学习某种偏差（就像您现在一样），或者您可以做以下两件事之一：

1. 构造一个单独的训练/测试集，其中训练集在每个标签中具有相同数量的样本（因此在您的情况下，训练集中的每个类标签可能只有 50 个示例，这并不理想） .然后，您可以在训练集上进行训练并在其余部分上进行测试。如果您对不同的样本多次执行此操作，则本质上是在进行 k 折交叉验证，只是以不同的方式选择样本大小。

1234563考虑到不平衡。