使用线性分类器最小化训练误差

Question

我试图找到一个线性分类器，在数据非线性可分的情况下最小化训练误差（0/1 损失）。具体来说，我正在寻找一种确定权重的方法：

sign(weights' * features) = label

对于features \in {0, 1}^d, label \in {-1, 1} 和实值权重。我有 N 个训练实例，我希望上述等式适用于最大可能的实例数。我知道如果问题始终是可分离的，则硬边距 SVM 之类的东西会起作用，但如果不是，我也需要找到解决方案。

（这个任务可能听起来有点深奥，但是请不要告诉我该怎么做，而不是寻找一个最小训练误差的线性分类器——我所描述的绝对是我想要解决的问题！ )

Answer 1

Matlab 包含一个非常易于使用的非线性 SVM 工具箱。 看看svmtrain 和svmclassify。 要选择内核函数，您必须使用 'kernel_function' 参数，尽管默认值为 'linear'，这是您尝试执行的操作。 'boxconstraint' 参数让我们选择 C，它是软约束的参数。

编辑

我发现 this 论文描述了一种最小化 0/1 损失的方法。