【发布时间】：2019-07-03 08:31:06
【问题描述】：
我已经了解 XGBoost 的使用，我知道这是一个业余问题
XGBoost 可以像 LASSO 一样用于变量消除和选择目的，还是我们需要先使用 LASSO 消除变量，然后最后使用 XGBoost 进行预测？
【问题讨论】：
标签： r machine-learning logistic-regression xgboost
【发布时间】：2019-07-03 08:31:06
【问题描述】：
XGBoost 在存在冗余变量（特征）的情况下非常有效。由于底层梯度提升算法本身是robust to multi-collinearity。
但强烈建议从用于训练任何选择算法（无论是 LASSO 还是 XGBoost）的任何数据集中删除（设计）任何冗余特征。
此外，您可以使用Ensemble learning. 结合这两种方法
【讨论】：
-
我的目标是最终获得最终重要变量的估计值并从这些估计值中获得优势比。单独使用 xgboost 是否允许我这样做，或者我需要将它与套索配对？
-
您可以单独使用 xgboost，但如果使用 lass + xgboost 的组合，您的预测质量可能会更高。