不平衡的学习问题 - 样本外与验证答案

【问题标题】：Imbalanced learning problem - out of sample vs validation不平衡的学习问题 - 样本外与验证
【发布时间】：2019-11-20 07:22:52
【问题描述】：

我正在三个班级进行训练，其中一个占主导地位的大多数班级约占 80%，另外两个班级平均。我能够使用欠采样/过采样技术训练模型，以获得 67% 的验证准确率，这对我的目的来说已经相当不错了。问题是这种性能只存在于平衡的验证数据上，一旦我用不平衡的数据在样本外进行测试，它似乎已经对偶数类预测产生了偏见。我也尝试过使用加权损失函数，但在样本外也没有任何乐趣。有没有一种很好的方法来确保验证性能的转换？我曾尝试使用 auroc 成功验证模型，但同样强大的性能仅存在于平衡的验证数据中。

我尝试过的重采样方法：SMOTE 过采样和随机欠采样。

【问题讨论】：

标签： python keras

【解决方案1】：

如果我理解正确，您可能正在寻找对不平衡数据集的性能测量和更好的分类结果。

在不平衡数据集的情况下单独使用准确性来衡量性能通常很高，误导和少数类可以完全忽略而不是使用 f1-score，precision/recall 分数。

对于我在不平衡数据集上的项目工作，我使用了 SMOTE 采样方法以及 K-Fold 交叉验证。

交叉验证技术确保模型从数据中获取正确的模式，并且不会产生太多噪音。

参考资料： What is the correct procedure to split the Data sets for classification problem?

【讨论】：