从决策树中提取使用的列名/特征答案

【问题标题】：extract used column names/features from decision tree从决策树中提取使用的列名/特征
【发布时间】：2021-03-07 07:00:08
【问题描述】：

请有人这么好心并指出一种提取拟合树中使用的列/特征的方法，使用如下代码：

library(dplyr)
library(caret)
library(rpart)

df <- data.frame(
    x1 = rnorm(100, 3, 1)
    , x2 = rnorm(100, 5, 2)
    , y = rnorm(100, 3, 1)
)

ivs <- df %>%
    dplyr::select(
        x1
        , x2
    )

fitted <- caret::train(
     x = ivs
     , y = df$y        
)

model <-fitted$finalModel
model

这个：

model$terms

为您提供所有术语（以 x 表示）-因此不一定是曾经使用过的。

PS：

沿着这些思路可能是前进的方向：

model$frame %>%
    select(
        var
    ) %>%
    filter(
        var != "<leaf>"
    )

【问题讨论】：

标签： r random-forest r-caret

【解决方案1】：

随机森林模型是决策树的集合，您可以使用函数varUsed 来获取树使用的变量。如果你使用插入符号，你需要设置keep.forest=TRUE：

library(caret)
set.seed(111)

X = matrix(runif(2000),ncol=20)
colnames(X) = paste0("col",1:20)
y = rnorm(100)

fitted <- train(x = X,y = y,trControl = trainControl(method="cv"),
keep.forest=TRUE,tuneGrid = data.frame(mtry=3:5))

我们看看使用的变量，下表告诉你对于每个变量（行），它在每棵树（列）中使用了多少次：

model <-fitted$finalModel
varUsed(model,by.tree=TRUE)

dim(varUsed(model,by.tree=TRUE))
[1]  20 500

head(varUsed(model,by.tree=TRUE))
     [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10] [,11] [,12] [,13] [,14]
[1,]    1    3    1    4    1    2    2    2    2     2     1     0     3     2
[2,]    2    4    2    2    3    3    1    4    1     3     1     4     0     4
[3,]    3    1    5    1    1    0    2    2    0     1     2     1     2     1
[4,]    4    0    2    3    1    0    2    1    4     2     1     2     1     1
[5,]    0    0    1    0    1    4    3    2    2     2     3     4     0     0
[6,]    1    2    1    3    2    2    2    1    1     1     1     1     2     3

您可以使用以下方法详细检查：

head(getTree(model,1,labelVar=TRUE))
  left daughter right daughter split var split point status  prediction
1             2              3     col13   0.9651637     -3  0.04972823
2             4              5     col13   0.5825061     -3 -0.05466984
3             0              0      <NA>   0.0000000     -1  2.55528193
4             6              7      col6   0.8524606     -3 -0.30132135
5             8              9     col16   0.8011010     -3  0.51518018
6            10             11      col3   0.3629737     -3 -0.45289996

如果我们将split var 列制成表格，我们会得到与上表相同的结果。

【讨论】：