LibSVM 一类分类 nu 参数不是异常值的一小部分吗？

Question

如果我错了，请纠正我，但一类 SVM 理论指出，nu 参数是训练数据集中异常值的上限 (UB) 和 SV 数量的下限 (LB)。假设我使用的是 RBF 高斯核，那么通过 nu 参数的思想，无论我选择什么 gamma 值，模型都应该能够产生结果，使得参数 nu 是训练中异常值的 UB数据集？但是，这不是我通过在 Matlab 中使用 LibSVM 尝试一些简单示例所观察到的：

[heart_scale_label, heart_scale_inst] = libsvmread('../heart_scale');
ind_good = (heart_scale_label==1);
heart_scale_label = heart_scale_label(ind_good);
heart_scale_inst = heart_scale_inst(ind_good);
train_data = heart_scale_inst;
train_label = heart_scale_label;
gamma= 0.01;
nu=0.01;
model = svmtrain(train_label, train_data, ['-s 2 -t 2 -n ' num2str(nu) ' -g ' num2str(gamma) ' -h 0']);
[predict_label_Tr, accuracy_Tr, dec_values_Tr] = svmpredict(train_label, train_data, model);
accuracy_Tr

使用 gamma = 0.01 我得到训练数据的准确度为 97.50 使用 gamma = 100 我得到训练数据的准确度为 42.50 Shouldn't the model overfit to the data to get the same fraction of outliers in the training dataset, when larger gamma is selected?

Answer 1

其实我也发现了同样的问题。 SVM 的性能通常还取决于 γ 和 nu 的交互作用。如果在尝试调整另一个参数的同时修复一个参数，学习曲线似乎甚至不单调。

我在训练准确度、测试准确度（heart_scale 数据上的 5 倍）及其差异上绘制了三张图像。 γ 范围从10^(-4) 到10^(1)，nu 范围从10^(-3) 到10^(-1)：

为了更清楚地观察小参数，我在γ和nu轴上实现了对数，见下图：

对于给定的 120 个数据，基本上欠拟合比过拟合明显得多。

编辑

将 epsilon 值调整为1e-8 以填补上图所示的空白：

根本没有明显的过拟合或欠拟合！泛化误差对参数的依赖似乎有点违反直觉，可能是由于 libsvm 中使用的优化算法而不是“真正的”解决方案......