超参数调优； ML 算法的参数空间（rf、adaboost、xgboost）答案

【问题标题】：Hyperparameter tuning; what parameter space for ML algorithms (rf, adaboost, xgboost)超参数调优； ML 算法的参数空间（rf、adaboost、xgboost）
【发布时间】：2021-09-29 13:16:54
【问题描述】：

我正在尝试调整几种 ML 算法（rf、adaboost 和 xgboost）的超参数，以训练一个以多类分类变量为目标的模型。我正在使用 R 中的 MLR 包。但是，我不确定以下内容。

要调整哪些超参数（以及要为哪些超参数使用默认值）
调整的超参数的空间应该是多少

您知道我可以找到有关此信息的任何来源吗？

例如；

filterParams(getParamSet("classif.randomForest"), tunable = TRUE)

给予

                    Type  len   Def   Constr Req Tunable Trafo
ntree            integer    -   500 1 to Inf   -    TRUE     -
mtry             integer    -     - 1 to Inf   -    TRUE     -
replace          logical    -  TRUE        -   -    TRUE     -
classwt    numericvector <NA>     - 0 to Inf   -    TRUE     -
cutoff     numericvector <NA>     -   0 to 1   -    TRUE     -
sampsize   integervector <NA>     - 1 to Inf   -    TRUE     -
nodesize         integer    -     1 1 to Inf   -    TRUE     -
maxnodes         integer    -     - 1 to Inf   -    TRUE     -
importance       logical    - FALSE        -   -    TRUE     -
localImp         logical    - FALSE        -   -    TRUE     -

空间；下、上、变换

params_to_tune <- makeParamSet(makeNumericParam("mtry", lower = 0, upper = 1, trafo = function(x) ceiling(x*ncol(train_x))))

【问题讨论】：

标签： random-forest xgboost hyperparameters mlr adaboost

【解决方案1】：

通常，您希望调整所有标记为tunable 的参数，其值范围尽可能大。在实践中，其中一些不会对性能产生影响，但您通常事先并不知道。

【讨论】：