xgboost 无袋预测

【问题标题】：xgboost out of bag predictionsxgboost 无袋预测
【发布时间】：2016-06-02 04:22:57
【问题描述】：

是否有可能获得每棵树的袋外 (oob) 预测，并绘制某种置信区间。

例如，这是在quantregForest 包中实现的：

data(ozone,package="gss")
library(quantregForest)
xozone <- ozone[-1]
yozone <- ozone$upo3
qrfozone <- quantregForest(xozone,yozone)
plot(qrfozone)

【问题讨论】：

标签： r random-forest xgboost

【解决方案1】：

我认为这在 xgboost 中还没有实现。我认为困难在于，在 randomForest 中，每棵树的权重是相等的，而在 boosting 方法中，权重是非常不同的。此外，“打包”xgboost 模型（仍然）不是很常见，只有这样您才能生成袋外预测（有关如何在 xgboost 中执行此操作，请参见此处：http://xgboost.readthedocs.io/en/latest/R-package/discoverYourData.html#special-note-what-about-random-forests）。

将来这将是一个在 xgboost 中实现的好工具。此外，如果您考虑使用 oob 预测进行快速调整。

【讨论】：