支持非线性内核和多标签的 SVM 实现答案

【问题标题】：An SVM implementation supporting non-linear kernels and multi-label on a one-vs.-rest支持非线性内核和多标签的 SVM 实现
【发布时间】：2017-08-12 22:14:08
【问题描述】：

我正在寻找支持非线性内核和一对一场景的 SVM 实现，以执行多标签分类。最好用 Python 编写，或者我可以使用包装器从 Python 调用。

我正在研究 sklearn，有两种实现可以使用 SVM 进行分类：

sklearn.svm.LinearSVC - 支持 one-vs.-rest 场景的多标签分类，但它基于 liblinear，因此仅支持线性内核。

sklearn.svm.SVC - 基于 libsvm，支持非线性内核，但多标签分类是在一对一的减少下完成的，它针对 K-way 多类问题训练 K (K − 1) / 2 个二元分类器。

更多信息也在这里： http://scikit-learn.org/stable/modules/multiclass.html

有没有人知道任何其他直接支持多标签分类和非线性内核的 SVM 实现？

一种可能的解决方案还可能是基于 sklearn.svm.SVC 调整代码，以执行 One-vs-Rest，这之前是否已经尝试过？

【问题讨论】：

你的意思是多类，对吧？多标签是另一回事（每个样本都标有多个标签）
不，我的意思是实际上是多标签；正是“每个样本都贴有多个标签”
那么您打算如何使用一对一或一对一？这些是多类（单标签）方法，而不是多标签
OneVsRestClassifier：每个类适合一个分类器，该类适合所有其他类。在预测时，您应用每个分类器（针对每个类别进行训练）来确定给定样本是否属于某个类别。 OneVsOneClassifier：每对类适合一个分类器，它需要 K * (k - 1) / 2 个分类器，它比 OneVsRestClassifier 慢得多。在预测时，选择获得最多票的类别，或以高于给定阈值的概率分类的每个类别。
@carlosdc from scikit-learn doc. on OneVsRestClassifier：“这种策略也可用于多标签学习，例如，分类器用于预测多个标签，通过拟合二维矩阵，其中如果样本 i 具有标签 j，则单元格 [i，j] 为 1，否则为 0。在多标签学习文献中，OvR 也称为二元相关方法...”，但我不确定 OneVsOneClassifier 及其与多标签的用法分类。

标签： machine-learning scikit-learn svm nonlinear-functions multilabel-classification

【解决方案1】：

Binary Relevance problem transformation method 使用 one-vs-rest 方法进行多标签分类。使用scikit-multilearn 库可以轻松实现具有非线性内核的SVM。以下是执行相同操作的示例 python 代码，其中 train_y 的每一行是一个代表多个标签的 one-hot 向量（例如，[0,0,1,0,1,0]）

from skmultilearn.problem_transform.br import BinaryRelevance
from sklearn.svm import SVC

# Non-linear kernel
svm = SVC(kernel='rbf')
cls = BinaryRelevance(classifier=svm)

cls.fit(train_x, train_y)
predictions = cls.predict(test_x)

【讨论】：

感谢 Nikkhil，不知道 github.com/scikit-multilearn