如何从回归树 rpart 对象生成预测区间？答案

【问题标题】：How to generate a prediction interval from a regression tree rpart object?如何从回归树 rpart 对象生成预测区间？
【发布时间】：2015-05-21 18:43:23
【问题描述】：

如何从使用 rpart 拟合的回归树生成预测区间？

据我了解，回归树根据叶节点的均值对响应进行建模。我不知道如何从模型中获取叶节点的方差，但我想做的是使用叶节点的均值和方差进行模拟以获得预测区间。

Predict.rpart() 没有给出间隔选项。

示例：我用虹膜数据拟合一棵树，但 predict 没有选项“间隔”

> r1 <- rpart(Sepal.Length ~ ., cp = 0.001, data = iris[1:nrow(iris)-1,])
> predict(r1,newdata=iris[nrow(iris),],type = "interval")
Error in match.arg(type) : 
  'arg' should be one of “vector”, “prob”, “class”, “matrix”

【问题讨论】：

我认为您无法从 rpart 获得置信区间，但您可以从 party 包中的 ctree 获得置信区间。见this SO answer。
其实可以用where函数将数据集的行与叶子节点进行匹配，然后用经验数据来估计一个区间吗？
@eipi10 您链接的 SO 答案涉及结构变化测试的 p 值，而不是预测区间。

标签： r tree prediction

【解决方案1】：

我不清楚置信区间对回归树意味着什么，因为它们不是线性模型等经典统计模型。我主要看到两种用途：表征树的确定性或表征树的每一片叶子的预测精度。以下是对这些可能性中的每一个的答案。

表征你的树的确定性

如果您正在寻找拆分节点的置信度值，那么party 会直接提供该值，因为它使用置换测试并统计确定哪些变量最重要以及附加到每个拆分的 p 值。 party 的 ctree 功能明显优于 rpart，如 here 所述。

回归树的集合叶的置信区间

第三，如果您正在寻找每个叶中值的置信区间，那么叶中观察值的 [0.025,0.975] 分位数区间很可能就是您要寻找的。 party 中的默认图在显示每个叶子的输出值的箱线图时采用了类似的方法：

library("party")
r2 <- ctree(Sepal.Length ~ .,data=iris)
plot(r2)

检索相应的间隔可以简单地通过：

iris$leaf <- predict(r2, type="node")
CIleaf <- aggregate(iris$Sepal.Length,
                    by=list(leaf=iris$leaf),
                    quantile,
                    prob=c(0.025, 0.25, 0.75, 0.975))

而且很容易可视化：

plot(as.factor(CIleaf$leaf), CIleaf[, 2],
     ylab="Sepal length", xlab="Regression tree leaf")
legend("bottomright",
       c(" 0.975 quantile", " 0.75 quantile", " mean", 
         " 0.25 quantile", " 0.025 quantile"),
       pch=c("-", "_", "_", "_", "-"),
       pt.lwd=0.5, pt.cex=c(1, 1, 2, 1, 1), xjust=1)

【讨论】：

【解决方案2】：

也许一个选项是您的训练数据的简单引导？

library(rpart)
library(boot)

trainData <- iris[-150L, ]
predictData <- iris[150L, ]

rboot <- boot(trainData, function(data, idx) {
            bootstrapData <- data[idx, ]
            r1 <- rpart(Sepal.Length ~ ., bootstrapData, cp = 0.001)
            predict(r1, newdata = predictData)
        }, 1000L)

quantile(rboot$t, c(0.025, 0.975))
    2.5%    97.5% 
5.871393 6.766842

【讨论】：