如何找到 SVM 的支持向量？答案

【问题标题】：How to find the support vectors for SVM?如何找到 SVM 的支持向量？
【发布时间】：2020-07-13 19:29:13
【问题描述】：

我正在使用 liblinear 库在我的数据上训练线性 SVM。我可以访问训练模型的每个类别的权重。但我需要弄清楚哪些训练实例充当了支持向量。

liblinear 库似乎没有将这些向量作为模型属性提供。而且我似乎无法弄清楚如何手动找到它们。如果我有训练数据和定义超平面的权重，我将如何找到这些支持向量？

【问题讨论】：

标签： python machine-learning scikit-learn svm liblinear

【解决方案1】：

您可以使用clf.support_vectors_获取支持向量。

绘制支持向量：

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm

# we create 40 separable points
np.random.seed(0)
X = np.r_[np.random.randn(20, 2) - [2, 2], np.random.randn(20, 2) + [2, 2]]
Y = [0] * 20 + [1] * 20

# fit the model
clf = svm.SVC(kernel='linear', C=1)
clf.fit(X, Y)

# get the separating hyperplane
w = clf.coef_[0]
a = -w[0] / w[1]
xx = np.linspace(-5, 5)
yy = a * xx - (clf.intercept_[0]) / w[1]


margin = 1 / np.sqrt(np.sum(clf.coef_ ** 2))
yy_down = yy - np.sqrt(1 + a ** 2) * margin
yy_up = yy + np.sqrt(1 + a ** 2) * margin

plt.figure(1, figsize=(4, 3))
plt.clf()
plt.plot(xx, yy, 'k-')
plt.plot(xx, yy_down, 'k--')
plt.plot(xx, yy_up, 'k--')

plt.scatter(clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=80,
            facecolors='none', zorder=10, edgecolors='k')
plt.scatter(X[:, 0], X[:, 1], c=Y, zorder=10, cmap=plt.cm.Paired,
            edgecolors='k')

plt.axis('tight')
x_min = -4.8
x_max = 4.2
y_min = -6
y_max = 6

XX, YY = np.mgrid[x_min:x_max:200j, y_min:y_max:200j]
Z = clf.predict(np.c_[XX.ravel(), YY.ravel()])

# Put the result into a color plot
Z = Z.reshape(XX.shape)
plt.figure(1, figsize=(4, 3))
plt.pcolormesh(XX, YY, Z, cmap=plt.cm.Paired)

plt.xlim(x_min, x_max)
plt.ylim(y_min, y_max)

plt.xticks(())
plt.yticks(())

plt.show()

【讨论】：

【解决方案2】：

假设我们谈论的是libsvm 而不是sklearn svc。

答案可以在LIBLINEAR FAQ中找到。简而言之，你不能。需要修改源代码。

问：我怎么知道哪些训练实例是支持向量？

一些 LIBLINEAR 求解器考虑原始问题，因此支持在训练过程中没有获得向量。对于双求解器，我们只输出原始权重向量 w，所以支持向量不存储在模型中。这与 LIBSVM 不同。

要知道支持向量，可以修改下面的循环 solve_l2r_l1l2_svc() 的 linear.cpp 打印出索引：

    for(i=0; i<l; i++)
    {
        v += alpha[i]*(alpha[i]*diag[GETI(i)] - 2);
        if(alpha[i] > 0)
            ++nSV;
    }

请注意，在调用此方法之前，我们将同一类中的数据分组在一起子程序。因此，您的训练实例的顺序是改变了。您可以对数据进行排序（例如，之前的正面实例负数）在使用 liblinear 之前。那么索引将是相同的。

【讨论】：