SVMlight - 找到权重向量的目的是什么？答案

【问题标题】：SVMlight - what is the purpose of finding the weight vector?SVMlight - 找到权重向量的目的是什么？
【发布时间】：2014-01-16 19:43:52
【问题描述】：

SVMlight site（在常见问题解答中）提供了一个计算超车道权重向量的脚本。它说它“计算支持向量的加权和”。

这是什么意思？也就是脚本做了什么，这个权重向量的意义和用途是什么？

提前致谢！

【问题讨论】：

您能否指出一个更直接的链接到您所指的内容？我在您链接的网站中看不到引用的文字。
真的很奇怪，我不能（主页和FAQ有相同的URL）。如果您在主页上按 CTRL+F “FAQ” - 您会找到链接...然后按 CTRL+F 找到“重量”一词。抱歉……
谢谢，我找到了——但与此同时 lejlot 提供了一个很好的答案。

标签： machine-learning svm svmlight

【解决方案1】：

在线性情况下，超平面总是可以用d+1 数字定义，其中 d 是输入空间的维度，而实际支持向量的数量可能要大得多。通过计算这个超平面（我们称之为 w），您可以获得更紧凑的模型，然后可以使用它来执行分类：

cl(x) = sgn(w'x + b)

其中 w' 是 w 的转置

在内核化版本中事情变得更加棘手，因为 w 是特征空间投影的形式，这可能是未知的（或计算成本很高），因此无法获得此类对象的方程（因为它是不再是输入空间中的超平面，而是 - 非常丰富的特征空间中的超平面）。

【讨论】：

谢谢@lejlot，但我不明白权重向量的来源......或者你的意思是脚本从支持向量计算'w'的值（如何？）？它的价值观有什么意义吗？也就是说，如果某个功能收到零，是否意味着它没有必要？
SVM 解决对偶问题并寻找 alphas'，并且 w=SUM_i y_i alpha_i sv_i，其中 sv_i 是第 i 个支持向量，y_i 是它的类，alpha_i 是它的权重。这具有精确的几何意义，它是分离超平面的法线，是的，如果某些特征的权重为 0，则它没有意义。如果它的值很大，那么它是一个很好的预测器

【解决方案2】：

“支持向量是训练集的元素，如果被移除会改变分割超平面的位置。”权重通过提供与超平面正交的向量的坐标来表示该超平面。 “计算支持向量的加权和”在数学上表示sign(w'*x +b)，当x 是支持向量，w' 是权重向量的转置时，w'x+b 的值为 0，表示决策边界。当一个新的x 到达时，sign(w'x+b) 将确定它属于哪个类。

对于训练样本中权重为0的x，表示该样本对超平面没有贡献，将x作为支持向量要么增加分类误差，要么降低分类误差边距。

这是一个参考教程，其中包含大量数字以获取更多信息details。

【讨论】：