【问题标题】:Random Forest optimization with tuning and cross-validation带有调优和交叉验证的随机森林优化
【发布时间】:2012-08-10 00:38:47
【问题描述】:

我正在处理一个大型数据集,因此希望删除无关变量并调整每个分支的最佳 m 个变量。在 R 中,有两种方法,rfcv 和 tuneRF,可以帮助完成这两个任务。我正在尝试将它们结合起来以优化参数。

rfcv 的工作原理大致如下:

create random forest and extract each variable's importance;
while (nvar > 1) {
    remove the k (or k%) least important variables;
    run random forest with remaining variables, reporting cverror and predictions
}

目前,我已将 rfcv 重新编码为如下工作:

create random forest and extract each variable's importance;
while (nvar > 1) {
    remove the k (or k%) least important variables;
    tune for the best m for reduced variable set;
    run random forest with remaining variables, reporting cverror and predictions;
}

当然,这会将运行时间增加一个数量级。我的问题是这是多么必要(使用玩具数据集很难得到一个想法),以及是否可以预期任何其他方式在更短的时间内大致同样有效。

【问题讨论】:

    标签: r machine-learning data-mining random-forest


    【解决方案1】:

    与往常一样,答案取决于数据。一方面,如果没有任何不相关的特征,那么您可以完全跳过特征消除。随机森林实现中的树构建过程已经尝试选择预测特征,这为您提供了一些针对无关特征的保护。

    Leo Breiman 发表了一次演讲,他将 1000 个不相关的特征引入到一些医学预测任务中,而该任务只有少数来自输入域的真实特征。当他使用一个变量重要性过滤器消除 90% 的特征时,随机森林的下一次迭代没有选择任何不相关的特征作为其树中的预测变量。

    【讨论】:

      猜你喜欢
      • 2014-04-16
      • 2018-09-03
      • 2019-09-15
      • 2015-10-16
      • 1970-01-01
      • 1970-01-01
      • 2021-06-05
      • 2021-06-17
      • 2015-12-30
      相关资源
      最近更新 更多