MLR：如何计算顺序 MBO 参数化模型的置换特征重要性？

Question

我正在使用包 mlr 和 mlrMBO 进行嵌套交叉验证。内部 CV 用于参数化（例如，找到最佳参数）。由于我想比较不同学习者的表现，所以我使用 mlr 的 benchmark 功能进行了基准实验。我的问题如下：是否可以对参数化模型/学习器进行置换？当我在基准实验中使用的学习器上调用 generateFeatureImportanceData 时，会再次估计模型（忽略通过顺序优化学习的参数化）。这是 iris 数据集上的一些代码来说明我的问题（没有预处理，仅用于说明）。

    library(dplyr)
    library(mlr)
    library(mlrMBO)
    library(e1071)

    nr_inner_cv <- 3L
    nr_outer_cv <- 2L

    inner = makeResampleDesc(
      "CV"
      , iters = nr_inner_cv  # folds used in tuning/bayesian optimization)

    learner_knn_base = makeLearner(id = "knn", "classif.knn")

    par.set = makeParamSet(
      makeIntegerParam("k", lower = 2L, upper = 10L)
    )

    ctrl = makeMBOControl()
    ctrl <- makeMBOControl(propose.points = 1L)
    ctrl <- setMBOControlTermination(ctrl, iters = 10L)
    ctrl <- setMBOControlInfill(ctrl, crit = crit.ei, filter.proposed.points = TRUE)
    set.seed(500)
    tune.ctrl <- makeTuneControlMBO(
      mbo.control = ctrl,
      mbo.design = generateDesign(n = 10L, par.set = par.set)
    )

    learner_knn = makeTuneWrapper(learner = learner_knn_base
                                           , resampling = inner
                                           , par.set = par.set
                                           , control = tune.ctrl
                                           , show.info = TRUE
                                  )

    learner_nb <- makeLearner(
      id = "naiveBayes"
      ,"classif.naiveBayes"
    )

    lrns = list(
      learner_knn
      , learner_nb
    )

    rdesc = makeResampleDesc("CV", iters = nr_outer_cv)

    set.seed(12345)
    bmr = mlr::benchmark(lrns, tasks = iris.task, show.info = FALSE,
                         resamplings = rdesc, models = TRUE, keep.extract = TRUE)

Answer 1

我认为这是我们经常遇到的一个普遍问题：我可以在 CV 中安装的模型上做 XY 吗？简短的回答：是的，你可以，但你真的想要吗？

详细解答

类似的问题：

• mlr: retrieve output of generateFilterValuesData within CV loop

• R - mlr: Is there a easy way to get the variable importance of tuned support vector machine models in nested resampling (spatial)?

正如@jakob-r 的评论所示，有两种选择：

1. 要么在 CV 之外重新创建模型，然后在其上调用所需的函数
2. 您可以通过 resample() 中的 extract 参数在相应折叠的每个拟合模型的 CV 中执行此操作。另请参阅上面链接的 Q2。

1) 如果您想在所有型号上执行此操作，请参阅下面的 2)。如果您只想在某些折叠的模型上执行此操作：您使用哪些标准来选择这些？

2) 是高度计算密集型的，您可能想问为什么要这样做 - 即您想对每个折叠模型的所有信息做什么？

一般来说，我从未见过已应用的研究/用例。您在 CV 中所做的一切都有助于估计每个折叠的性能值。之后您不想与这些模型进行交互。

您宁愿在未分区的数据集上估计特征重要性一次（您已经事先优化了超标准一次）。这同样适用于 ML 模型的其他诊断方法：将它们应用于您的“完整数据集”，而不是应用于 CV 中的每个模型。