Scikit-Learn的SVM类中的nu参数是什么意思？答案

【问题标题】：What is the meaning of the nu parameter in Scikit-Learn's SVM class?Scikit-Learn的SVM类中的nu参数是什么意思？
【发布时间】：2012-06-29 03:57:58
【问题描述】：

我按照http://scikit-learn.org/stable/auto_examples/svm/plot_oneclass.html#example-svm-plot-oneclass-py 中显示的示例进行操作，其中使用一类 SVM 进行异常检测。现在，这可能是 scikit-learn 独有的符号，但我找不到有关如何使用赋予 OneClassSVM 构造函数的参数 nu 的解释。

在http://scikit-learn.org/stable/modules/svm.html#nusvc 中，声明参数 nu 是参数 C（这是我熟悉的正则化参数）的重新参数化 - 但没有说明如何执行重新参数化。

非常感谢公式和直觉。

谢谢！

【问题讨论】：

ν 当然不是 scikit-learn 特有的；请参阅 Chen、Lin 和 Schölkopf 撰写的 this tutorial，从第 1 页开始。 13（谷歌第一次点击“nu svm”）。

标签： python machine-learning scikit-learn

【解决方案1】：

C的问题和nu的引入

参数C的问题是：

它可以取任何正值
它没有直接的解释。

因此很难正确选择，必须通过交叉验证或直接实验来找到合适的值。

作为回应 Schölkopf 等人。重新构造 SVM 以采用新的正则化参数 nu。这个参数是：

介于 0 和 1 之间
有直接解释

nu的解读

参数 nu 是边际误差分数的上限，也是支持向量相对于训练样本总数的分数的下限。例如，如果您将其设置为 0.05，则可以保证最多 5% 的训练示例被错误分类（尽管代价很小），并且至少 5% 的训练示例是支持向量。

C 和 nu 的关系

C 和 nu 之间的关系由以下公式控制：

nu = A+B/C

A 和 B 是常数，不幸的是并不那么容易计算。

结论

关键信息是 C 和 nu SVM 在分类能力方面是等效的。与 C 相比，nu 的正则化更容易解释，但 nu SVM 通常更难优化，并且运行时的扩展性不如 C 变体随输入样本数量的增加。

更多详情（包括 A 和 B 的公式）可以在这里找到：Chang CC, Lin CJ - "Training nu-support vector classifiers: theory and algorithms"

【讨论】：

严格地说，“你是有保证的”，而不是像你写的那样是一个界限。事实上，这仅适用于 nu 在其允许区间内（参见 Appl. Stochastic Models Bus. Ind., 2005; 21:111–136 的第 123 页）。另一个问题是，在同一参考文献的图 5 中，nu 和 C 之间的关系与您引用的不同。这个答案应该是合格的。 PS：我很想知道在 1 类 SVM 的情况下这个区间是多少：在我引用的参考文献中，命题 3 p。 126 只给出了 nu 的 2 类 SVM 允许区间。
亲爱的@Bernhard Kausler，你能看看我发布的问题吗：stackoverflow.com/questions/24540919/…
@BernhardKausler 有什么关于 Nu 含义的书吗？
你能用一些图形解释一下吗

【解决方案2】：

支持向量中的 nu 是一个超参数。

在c-SVM中如果我们要查询一个点x_q 那么

∑α_i.y_i.x_i^T.x_q+b 表示 i=1 到 n

我们知道 α_i 对于大于零的支持向量和非支持向量 α_i=0。

所以只有支持向量是计算 f(x_q) 的问题，但在 常规 C-SVM 中，我们无法控制否。支持向量所以这里是nu-SVM

否：

错误数量上限
支持向量数的下限

nu 始终介于 0

让说 nu=0.1 和 n=10,000

1.我们最多需要 10% 的错误 => 1000 个错误点
2.我们得到支持向量 >= 1% =>我们得到超过 1000 个支持向量。

【讨论】：