【问题标题】:Relation between max-margin and vector support in SVMSVM中最大边距和向量支持之间的关系
【发布时间】:2016-02-14 19:07:01
【问题描述】:
我正在阅读 SVM 的数学公式,在很多资料中我发现 "max-margin 超平面完全由最接近它的 \vec{x}_i 决定。这些 \vec{x }_i 称为支持向量。”
专家能用数学方法解释这个结果吗?请。
【问题讨论】:
标签:
machine-learning
scikit-learn
svm
【解决方案1】:
仅当您使用 representation theorem 时才适用
你的分离平面 W 可以表示为 Sum(i= 1 to m) Alpha_i*phi(x_i)
其中 m - 训练样本中的示例数,x_i 是示例 i。而 Phi 是将 x_i 映射到某个特征空间的函数。
因此,您的 SVM 算法将找到向量 Alpha=(Alpha_1...Alpha_m), - x_i 的 alpha_i。他的 alpha_i 不为零的每个 x_i(训练样本中的示例)都是 W 的 支持向量。
因此得名 - SVM。
如果您的数据是可分离的,会发生什么情况,即您只需要接近分离边距W的支持向量,并且可以丢弃所有其余的训练集(它的 alpha 为 0)。算法将使用的支持向量的数量取决于您使用的数据和内核的复杂性。