多类 SVM（一对一）答案

【问题标题】：Multi-Class SVM( one versus all)多类 SVM（一对一）
【发布时间】：2012-02-15 17:19:30
【问题描述】：

我知道 LIBSVM 在涉及多类 SVM 时只允许一对一分类。但是，我想对其进行一些调整以执行一对一的分类。我试图在下面进行一对一。这是正确的方法吗？

代码：

TrainLabel;TrainVec;TestVec;TestLaBel;
u=unique(TrainLabel);
N=length(u);
if(N>2)
    itr=1;
    classes=0;
    while((classes~=1)&&(itr<=length(u)))
        c1=(TrainLabel==u(itr));
        newClass=c1;
        model = svmtrain(TrainLabel, TrainVec, '-c 1 -g 0.00154'); 
        [predict_label, accuracy, dec_values] = svmpredict(TestLabel, TestVec, model);
        itr=itr+1;
    end
itr=itr-1;
end

我可能犯了一些错误。我想听听一些反馈。谢谢。

第二部分：正如葡萄柚所说：我需要进行 Sum-pooling（或投票作为简化的解决方案）才能得出最终答案。我不知道该怎么做。我需要一些帮助；我看到了python文件，但仍然不太确定。我需要一些帮助。

【问题讨论】：

到底是什么问题？您在问如何使用 LibSVM 执行一对多分类？程序是否输出了您期望的结果？顺便说一句，LibSVM 参数应该是'-c 1 -g 0.00153'（你缺少结束单引号）。
我已经编辑了问题...
@lakesh：我发布了一个类似问题的答案，您可能会觉得有用：stackoverflow.com/a/9049808/97160

标签： matlab machine-learning libsvm svm

【解决方案1】：

%# Fisher Iris dataset
load fisheriris
[~,~,labels] = unique(species);   %# labels: 1/2/3
data = zscore(meas);              %# scale features
numInst = size(data,1);
numLabels = max(labels);

%# split training/testing
idx = randperm(numInst);
numTrain = 100; numTest = numInst - numTrain;
trainData = data(idx(1:numTrain),:);  testData = data(idx(numTrain+1:end),:);
trainLabel = labels(idx(1:numTrain)); testLabel = labels(idx(numTrain+1:end));
%# train one-against-all models
model = cell(numLabels,1);
for k=1:numLabels
    model{k} = svmtrain(double(trainLabel==k), trainData, '-c 1 -g 0.2 -b 1');
end

%# get probability estimates of test instances using each model
prob = zeros(numTest,numLabels);
for k=1:numLabels
    [~,~,p] = svmpredict(double(testLabel==k), testData, model{k}, '-b 1');
    prob(:,k) = p(:,model{k}.Label==1);    %# probability of class==k
end

%# predict the class with the highest probability
[~,pred] = max(prob,[],2);
acc = sum(pred == testLabel) ./ numel(testLabel)    %# accuracy
C = confusionmat(testLabel, pred)                   %# confusion matrix

【讨论】：

【解决方案2】：

从代码中我可以看到您正在尝试首先将标签转换为“某个类”与“非此类”，然后调用 LibSVM 进行训练和测试。一些问题和建议：

为什么要使用原来的TrainingLabel 进行培训？在我看来，应该是model = svmtrain(newClass, TrainVec, '-c 1 -g 0.00154');吗？
使用修改后的训练机制，您还需要调整预测部分，例如使用 sum-pooling 来确定最终标签。在 LibSVM 中使用-b 开关来启用概率输出也将提高准确性。

【讨论】：

非常感谢...顺便说一句，您知道如何使用 LIBSVM 进行一对一吗？我不知道该怎么做...
只需将 01 或 -11 以外的标签作为输入即可。 LibSVM 会识别它并尝试进行多类分类。
顺便说一句，当我将其更改为 newClass 时出现此错误：错误：标签向量和实例矩阵必须是双模型文件应该是结构数组
当我改变 newClass=c1;到 newClass=double(c1);，它给了我 0% 的分类
基于LibSVM的python中one-against-all的官方实现见官网：csie.ntu.edu.tw/~cjlin/libsvmtools/multilabel

【解决方案3】：

除了概率估计之外，您还可以使用如下决策值

[~,~,d] = svmpredict(double(testLabel==k), testData, model{k});
prob(:,k) = d * (2 * model{i}.Label(1) - 1);

达到同样的目的。

【讨论】：