当我使用由 75% 的“真”标签和 25% 的“假”标签组成的不平衡数据集时，我应该如何在 libSVM 中设置我的 gamma 和 Cost 参数？由于数据不平衡，我不断收到将所有预测标签设置为“真”的错误。
如果问题不在于 libSVM，而在于我的数据集，那么从理论机器学习的角度来看，我应该如何处理这种不平衡？ *我使用的功能数量在 4-10 之间，并且我有一小部分 250 个数据点。
【问题讨论】：
标签： machine-learning svm libsvm
类不平衡与 C 和 gamma 的选择无关，要解决此问题，您应该使用 class weighting scheme，例如 scikit-learn 包（基于 libsvm）
最佳C 和gamma 的选择是使用带有交叉验证的网格搜索来执行的。您应该在这里尝试大范围的值，因为C 在1 和10^15 之间选择值是合理的，而gamma 范围值的简单而良好的启发式方法是计算所有数据点之间的成对距离和根据该分布的百分位数选择 gamma - 考虑在每个点中放置一个方差等于 1/gamma 的高斯分布 - 如果您选择这样的 gamma，该分布会重叠很多点，您将获得非常“平滑”的模型，而使用小的方差会导致过拟合。
【讨论】：
C在实际的SVM训练问题中发生了变化，所以类平衡确实与C的选择有关，即使它发生在窗帘后面。
可以通过多种方式处理不平衡的数据集。类平衡对 RBF 内核的 gamma 等内核参数没有影响。
两种最流行的方法是：
C。通常最小的类得到更高的权重，一个常见的方法是npos * wpos = nneg * wneg。 LIBSVM 允许您使用其-wX 标志来执行此操作。【讨论】：
我知道之前有人问过这个问题，但我想回答它，因为您可能会发现我的回答很有用。
正如其他人所提到的，您可能需要考虑对少数类使用不同的权重或使用不同的错误分类惩罚。但是，有一种更聪明的方法来处理不平衡的数据集。
您可以使用 SMOTE（S合成 Minority Over-sampling Technique) 算法为少数类生成合成数据。这是一个简单的算法，可以很好地处理一些不平衡的数据集。
在算法的每次迭代中，SMOTE 都会考虑少数类的两个随机实例，并在其间某处添加同一类的人工示例。该算法不断将样本注入数据集，直到两个类达到平衡或其他一些标准（例如添加一定数量的示例）。您可以在下面找到一张图片，该图片描述了该算法对二维特征空间中的简单数据集所做的工作。
将权重与少数类相关联是该算法的一个特例。当您将权重 $w_i$ 与实例 i 相关联时，您基本上是在实例 i 之上添加额外的 $w_i - 1$ 个实例！
您需要做的是使用此算法创建的样本来扩充您的初始数据集，并使用此新数据集训练 SVM。您还可以在网上找到许多不同语言的实现，例如 Python 和 Matlab。
此算法还有其他扩展，如果需要，我可以为您指出更多材料。
要测试分类器，您需要将数据集拆分为测试和训练，将合成实例添加到训练集（请勿添加到测试集），在训练集，最后在测试集上进行测试。如果您在测试时考虑生成的实例，您最终会得到有偏差（而且高得离谱）的准确率和召回率。
【讨论】：