如何从 mlr3 中的 benchmarkresult 中获取模型结果？

Question

最近我在学习使用 mlr3 包。我在做特征选择，想比较模型结果。但是，我想知道如何从基准结果中获取模型结果，比如特征选择学习器模型中使用了哪些特征。

这是我的代码：

#setup task
task = TaskClassif$new(id = "SPI", backend = test, target = "recidivism")

#learner of non-FS
learner_ranger = lrn("classif.ranger",
                     predict_type = "prob",
                     predict_sets = c("train", "test")) %>% print()

# set up for FS
terminator = trm("evals", n_evals = 20)
fselector = fs("random_search")

# create a new learner of FS
at = AutoFSelector$new(
  learner = learner_ranger,
  resampling = rsmp("holdout"),
  measure = msr("classif.auc"),
  terminator = terminator,
  fselector = fselector
)
at


# To compare the optimized feature subset with the complete feature set, we can use benchmark() :
grid = benchmark_grid(task = task,
                      learner = list(at,learner_ranger),
                      resampling = rsmp("holdout"))


# 
set.seed(1)
bmr_Wra = benchmark(grid, store_models = TRUE)

# 
measures = list(
  msr("classif.auc", id = "auc_train", predict_sets = "train"),
  msr("classif.auc", id = "auc_test"),
  msr("classif.acc", id = "acc_test"),
  msr("classif.ce",id = "ce_test")
)

bmr_Wra$aggregate(measures)


# ce
autoplot(bmr_Wra) + theme(axis.text.x = element_text(angle = 45, hjust = 1))

# roc
autoplot(bmr_Wra, type = "roc")

# prc
autoplot(bmr_Wra, type = "prc")`

我注意到：

请注意，通过此字段访问学习模型是不可行的，因为训练任务会模棱两可。因此，返回的学习者在返回之前会被重置。反而， 从 $score() 返回的表中选择一行。

所以我使用了bmr_Wra$score()，但我仍然需要进一步分析模型并提取变量重要性等信息。任何帮助表示赞赏。非常感谢！

Answer 1

从 gh 安装最新的 mlr3fselect 版本，它提供了新的帮助函数。

extract_inner_fselect_results(bmr_Wra)

返回内部重采样循环的最佳特征集。由于您使用的是保留验证，因此它只是一组。

extract_inner_fselect_archives(bmr_Wra)

返回内部重采样循环的所有评估特征集。如果要访问存储在ResampleResults 中的相应模型，请创建AutoTuner 和store_models = TRUE。

您可能想阅读nested resampling 上的书籍章节。