SVM - 松弛变量

Question

我知道在 SVM（支持向量机）中，您可以添加一个松弛变量 ε 来“软化”边界。从一些教科书中读到，它提到 ε > 1 将允许相应的样本被错误分类为属于错误的类别。例如，如果我们有：

g = yf(x)

要成为实际类别标签（1 或 -1）和模型预测（实数）之间的乘积，那么任何正确分类的样本都会导致 g 为正。 （即：y 和 f(x) 要么都是正的，要么都是负的。

因此我们可以将模型的损失计算为max(0, 1-g)，其中任何错误分类的样本都会导致1-g > 0 和正损失。通过添加 ε 项，我们得到 max(0,1-g-ε)，这使得模型对错误的容忍度更高。

但是，是否只有 ε > 1 允许错误分类，而 0

Answer 1

对于 0

所以，ξ/||w||

ξ>1 only 表示错误分类，因为 ξ/||w||>2/||w||。

另一件事是松弛变量 (ξ) 本身意味着损失 max(0,1−g)。

如有疑问请参考this文档。

注意：我使用 ξ 而不是 ϵ 以避免任何符号滥用。