SVM 回归的交叉验证

Question

我想执行交叉验证来为 SVR（支持向量回归）的 RBF 内核选择最佳参数 Gamma 和 C。我正在使用 LIBSVM。我有一个包含 4 组 3D 网格的数据库。 我的问题是： 我使用的这种方法可以用于 4 折交叉验证吗？我认为，为了选择 RBF Kernal 的参数 C 和 Gamma，我必须尽量减少预测值和 groud_truth_values 之间的误差。

我还有另一个问题，我得到了一个 NAN 值，而交叉验证（平方相关系数 = nan（回归））

这是我写的代码：

[C,gamma] = meshgrid(-5:2:15, -15:2:3); %range of values for C and 
                                        %gamma

%# grid search, and cross-validation

for m=1:numel(C)

    for k=1:4 
        fid1 = fopen(sprintf('list_learning_%d.txt',k), 'rt'); 
        i=1;

        while feof(fid1) == 0 
            tline = fgetl(fid1); 
            v= load(tline);
            v=normalize(v);
            matrix_feature_tmp(i,:)=v;
            i=i+1;
        end  

        fclose(fid1);

        % I fill matrix_feature_train of size m by n via matrix_feature_tmp

        %%construction of the test matrix
       fid2 = fopen(sprintf('liste_features_test%d.txt',k), 'rt'); 
       i=1;

       while feof(fid2) == 0 
           tline = fgetl(fid2); 
           v= load(tline);
           v=normalize(v);
           matrice_feature_test_tmp(i,:)=v;
           i=i+1;
       end  

       fclose(fid2);

       %I fill matrix_feature_test of size m by k via matrix_feature_test_tmp

       mos_learning=load(sprintf('mos_learning_%d.txt',k));
       mos_wanted=load(sprintf('mos_test%d.txt',k));

       model = svmtrain(mos_learning, matrix_feature_train',sprintf('- 
       s %f -t %f -c %f -g %f -p %f  ',3,2 ,2^C(m),2^gamma(m),1 ));

       [y_hat, Acc, projection] = svmpredict(mos_wanted,
                                  matrix_feature_test', model);
       MSE_Test = mean((y_hat-mos_wanted).^2);
       vecc_error(k)=MSE_Test;

       end
       mean_vec_error_fold(m)=mean(vecc_error);
end

%select the best gamma and C 
[~,idx]=min(mean_vec_error_fold);

best_C = 2^C(idx);
best_gamma = 2^gamma(idx);

%training with best parameters
%for example
 model = svmtrain(mos_learning1, matrice_feature_train1',sprintf('-s   
          %f -t %f -c %f -g %f -p %f  ',3,2 ,best_C, best_gamma,1 ));

[y_hat_final, Acc, projection] = svmpredict(mos_test1,matrice_feature_test1', 
                           model);

Answer 1

根据您的描述，没有阅读您的代码，听起来您没有进行交叉验证。交叉验证要求您选择一个参数集（即C 和gamma 的值）并保持这些参数不变，使用k-1 折叠训练，1 折叠测试并执行此操作k 次这样您就可以将每个折叠用作测试集一次。然后汇总这些k 测试的错误/准确度度量，这就是您用于对这些参数进行排名的度量对于在所有数据上训练的模型。将此称为您使用的参数集的交叉验证错误。然后，您对一系列不同的参数重复此过程，并选择具有最佳精度/最低 CV 误差的参数集。您的最终模型是根据您的所有数据进行训练的。

你的代码对我来说真的没有意义。看着这个sn-p

folds = 4; 
for i=1:numel(C)
    cv_acc(i) = svmtrain(ground_truth, matrice_feature_train', ...
                sprintf(' -s %d -t %d -c %f -g %f -p %d -v %d',3,2, 
                2^C(i), 2^gamma(i), 1, 4)); %Kernel RBF
end

cv_acc 包含什么？对我来说，它包含实际的 SVM 模型（如果您使用 MATLAB 工具箱，则为 SVMStruct，如果您使用 LIBSVM，则为其他内容）。如果您使用循环来更改将哪些折叠用作训练集，这将是可以的。但是，您使用它们来更改 gamma 和 C 参数的值，这是不正确的。但是你后来打电话给min(cv_acc); 所以我现在猜测你认为对smvtrain 的调用实际上返回了训练错误？我看不出你怎么能在这样的结构数组上有意义地调用min，但我可能是错的。但即便如此，您实际上对最小化您的训练错误并不感兴趣，您希望最小化您的交叉验证错误，这是您的 k 运行中 test 错误的总和，没有什么可做的处理您的培训错误。

现在实际上不可能知道你是否做错了，因为你没有向我们展示gamma 和C 的向量，但是只有一个循环而不是一个嵌套循环来迭代很奇怪这些（除非您像真值表一样安排它们，但我对此表示怀疑）。您需要测试C 的每个潜在值与gamma 的每个值配对。目前，您似乎只为 C 中的每个值尝试了 1 个不同的 gamma 值。

查看this answer 以查看与 SVM 一起使用的交叉验证示例。