使用 Python/Numpy 的 dlib SVM 的最小示例

Question

我需要在 C++ 构建目标系统中部署 SVM。因此，我想使用带有 python/numpy 的 dlib 训练一个 SVM，对其进行序列化并在目标系统中进行评估。

dlib 的 python 文档对我来说相当晦涩难懂，所以谁能帮助我这个最小的例子？

import dlib

# My data in numpy
feature_column_1 = np.array([-1, -2, -3, 1, 2, 3])
feature_column_2 = np.array([1, 2, 3, -1, -2, -3])
labels = np.array([True, True, True, False, False, False])

# Features
feature_vectors = dlib.vectors()
for feature_column in [feature_column_1, feature_column_2]:
    feature_vectors.append(dlib.vector(feature_column.tolist()))

# Labels
labels_array = dlib.array(labels.tolist())

# Train
svm = dlib.svm_c_trainer_linear()
svm.train(feature_vectors, labels_array)

# Test
y_probibilities = svm.predict(labels_array_new)

我收到以下培训错误：

---> 18 svm.train(vectors, array)

ValueError: Invalid inputs

Answer 1

我刚刚在 dlib 中添加了一个官方示例。当我查看时，我很惊讶地发现它不包括在内。可在此处获得：https://github.com/davisking/dlib/blob/master/python_examples/svm_binary_classifier.py。以下是相关细节：

import dlib
import pickle    

x = dlib.vectors()
y = dlib.array()

# Make a training dataset.  Here we have just two training examples.  Normally
# you would use a much larger training dataset, but for the purpose of example
# this is plenty.  For binary classification, the y labels should all be either +1 or -1.
x.append(dlib.vector([1, 2, 3, -1, -2, -3]))
y.append(+1)

x.append(dlib.vector([-1, -2, -3, 1, 2, 3]))
y.append(-1)


# Now make a training object.  This object is responsible for turning a
# training dataset into a prediction model.  This one here is a SVM trainer
# that uses a linear kernel.  If you wanted to use a RBF kernel or histogram
# intersection kernel you could change it to one of these lines:
#  svm = dlib.svm_c_trainer_histogram_intersection()
#  svm = dlib.svm_c_trainer_radial_basis()
svm = dlib.svm_c_trainer_linear()
svm.be_verbose()
svm.set_c(10)

# Now train the model.  The return value is the trained model capable of making predictions.
classifier = svm.train(x, y)

# Now run the model on our data and look at the results.
print("prediction for first sample:  {}".format(classifier(x[0])))
print("prediction for second sample: {}".format(classifier(x[1])))


# classifier models can also be pickled in the same was as any other python object.
with open('saved_model.pickle', 'wb') as handle:
    pickle.dump(classifier, handle)

但是，如果您想使用 C++，您应该只使用 C++。 Dlib 主要是一个 C++ 库而不是 python 库。 dlib 的全部意义在于为想要进行机器学习的人们提供一个不错的 C++ API。因此，仅使用 C++ 进行培训会更好。 dlib 附带了 99 个完整的 C++ 示例和完整的 C++ API 文档。例如，这里是一个相关的例子http://dlib.net/svm_c_ex.cpp.html。

我真的应该强调，dlib 的 C++ API 比 python API 灵活得多。确实，dlib 的目的是让 C++ 中的机器学习变得容易，dlib 的 python API 是事后才想到的。事实上，dlib 的许多特性是使用 C++ 模板之类的东西来表达的，而这些东西在 Python 中是不可能相关的（例如，因为 python 没有像 C++ 模板那样的东西），所以这些特性不会暴露给 python。所以说真的，如果你想使用 C++，那就使用 C++。 如果您知道如何编写 C++，就没有理由使用 Python API。

Answer 2

不是一个完整的答案，而是一些评论：

(1)

您观察到的错误至少部分是由于检查here。

    for (long r = 0; r < x_labels.nr(); ++r)
    {
        if (x_labels(r) != -1 && x_labels(r) != 1)
            return false;

意思是：labels = np.array([True, True, True, False, False, False])是错误的，而labels = np.array([1, 1, 1, -1, -1, -1])是正确的。

(2)

通常，在大多数 MLlib 中，数据格式为 (n_samples, n_features)，其中行是观察值。

当打印出您的特征向量时，这看起来是正确的，但是您的代码，在 (1) 的更改之后仍然会抛出相同的错误，除非您将其视为相反：所以另一种解释是：你有 2 个样本，每个样本有 6 个特征。使用这个假设，y 需要有 2 个值。等等……至少这是训练！

没有抛出错误的代码（我忽略了它真正在做什么）

import dlib
import numpy as np

# My data in numpy
feature_column_1 = np.array([-1, -2, -3, 1, 2, 3])
feature_column_2 = np.array([1, 2, 3, -1, -2, -3])
labels = np.array([-1, 1])  # +1/-1 & size == 2

# Features
feature_vectors = dlib.vectors()
for feature_column in [feature_column_1, feature_column_2]:
    feature_vectors.append(dlib.vector(feature_column.tolist()))

# Labels
labels_array = dlib.array(labels.tolist())

# Train
svm = dlib.svm_c_trainer_linear()
svm.be_verbose = 10

svm.train(feature_vectors, labels_array)
print('k')

(3)

dlib 的 python-API 没有predict() 函数。 C++-API 有一些用于预测的learned_function 属性，但this 和this 表示您必须自己执行此操作（可能使用c_class1 和co。因为我无法将其他任何东西映射到可用的东西API-doc 的候选者）。

编辑：我的预测是错误的，正如 dlib 的维护者/开发者在 cmets 中提到的那样！

我真的很不喜欢这种状态，我会用别的东西！ （或改进 dlib）.

不确定如何解释您的环境约束，但是：

• libsvm / liblinear 仍然是此类任务的最新技术，它们是为使用 C++ 而构建的！
• 和sklearn 是迄今为止从 python 中最好的方法（内部使用上面的库）

Answer 3

当我将你的 for 循环更改为这个时（我没有 dlib）：

for feature_column in [feature_column_1, feature_column_2]:
    print(feature_column.tolist())

我得到这个结果

[-1, -2, -3, 1, 2, 3]
[1, 2, 3, -1, -2, -3]

我想你的数据应该如下所示：

[-1, 1]
[-2, 2]
[-2, 2]
[1, -1]
[2, -2]
[3, -3]

你可以用这段代码得到什么：

features = [[-1,1],[-2,2],[-2,2],[1,-1],[2,-2],[3,-3]]
for feature in features:
    feature_vectors.append(dlib.vector(feature_column.tolist()))