R gbm 包：训练误差和 Adaboost 指数损失函数

Question

我在 R 中使用 gbm 包进行二进制分类。我正在为算法使用 adaboost 指数损失函数。我有两个问题：

1. 如果我想查看训练错误，我应该只看这个吗？ （假设我的模型对象叫做fit，我使用了3-fold CV。）

   best.iter <- gbm.perf(fit,method="cv")

   fit$train.error[best.iter]

2. 如果我想对我的训练数据集进行预测，比如说“train”，删除响应变量，通过这行代码：pred <- predict(object=fit,newdata=train,n.trees=best.iter)。它只给了我 adaboost 的指数损失值。我怎样才能将其转换回二进制类的概率？我试过plogis 和log。结果只是没有意义。例如，plogis 给了我 0.99***，log 给了我区间 [0.52,0.56]。我应该做什么样的转变？

仅供参考，我种了 100 棵树，拟合过程似乎还可以。例如，

> fit$oobag.improve
[1] 0.1431295103 0.1093538334 0.0852480128 0.0678520088 0.0549712390 0.0452351232 0.0378058484 0.0319409903
[9] 0.0275396129 0.0237185758 0.0208696658 0.0182786535 0.0163750200 0.0146381260 0.0132728128 0.0119435448
[17] 0.0108959138 0.0099211566 0.0091093166 0.0084316036 0.0078037047 0.0071945142 0.0066821670 0.0061718044
[25] 0.0058103999 0.0054534710 0.0051276913 0.0047975274 0.0044901763 0.0042387273 0.0039702177 0.0037345627
[33] 0.0035337545 0.0033370776 0.0031656407 0.0029688111 0.0028016085 0.0026640768 0.0025268873 0.0023897908
[41] 0.0022594735 0.0021612521 0.0020255227 0.0019376223 0.0018393318 0.0017481065 0.0016463413 0.0015561673
[49] 0.0014813435 0.0014237926 0.0013459092 0.0012719409 0.0012116881 0.0011572038 0.0010948941 0.0010420570
[57] 0.0009843288 0.0009398356 0.0008938670 0.0008542828 0.0008063698 0.0007637763 0.0007325414 0.0006917561
[65] 0.0006582027 0.0006313925 0.0005979843 0.0005645791 0.0005410957 0.0005159002 0.0004869797 0.0004643209
[73] 0.0004464032 0.0004213901 0.0004010297 0.0003815199 0.0003623747 0.0003445184 0.0003269569 0.0003105762
[81] 0.0002960856 0.0002802715 0.0002679399 0.0002541207 0.0002425242 0.0002294759 0.0002200414 0.0002093278
[89] 0.0001974315 0.0001893624 0.0001788743 0.0001709422 0.0001624860 0.0001538988 0.0001479532 0.0001403145
[97] 0.0001338089 0.0001256208 0.0001206701 0.0001142448

谢谢！

Answer 1

1.第一个问题：你是对的，通过 fit$train.error 你可以检查训练错误。 fit$train.error[best.iter] 是检查选择的最佳模型的训练误差。注意，fit$train.error[best.iter] 不是最小的训练误差，因为最好的模型是由 cv.test.error 选择的。

2.Adaboost 是 ensamble 模型选择指数损失函数时的一种特殊情况。要将其转换回其他类型的损失函数，您首先需要知道 adaboos 误差是如何计算的。

对于 y{-1,1} 分类问题： 指数损失L=exp(-y*f(x))

其中 f(x) 是训练有素的 adaboost 模型生成的结果。 类别决策应由 f(x) 的符号做出，如果 f(x)>0 则预测 y=1，否则 y=-1。 然后你可以看到所有指数损失

请注意，如果您看到所有训练数据

希望对您有所帮助！