【发布时间】:2021-11-26 14:07:12
【问题描述】:
我正在用 R 中的 XGBoost 拟合二元分类模型。我的数据集有 300k 观察值,有 3 个连续预测变量和 1 个单热编码因子变量,有 90 个级别。因变量y 为真或假。
我已经进行了随机二次抽样以找到最佳超参数。对于每个设置,我都做了 5 倍(分组)CV。下面的超参数设置导致 5 倍估值数据折叠的平均 AUC 最高:
booster objective max_depth eta subsample colsample_bytree min_child_weight
gbtree binary:logistic 8 0.7708479 0.2861735 0.5338721 1
接下来我在下面的 XGBoost 模型拟合中使用了这些超参数设置:
model_n <- xgb.train(data = xgb_trainval,
booster = "gbtree",
objective = "binary:logistic",
max_depth = 8,
eta = 0.7708479,
subsample = 0.2861735,
colsample_bytree = 0.5338721,
min_child_weight = 1,
nrounds = 1000,
eval_metric = "auc",
early_stopping_rounds = 30,
print_every_n = 100,
watchlist = list(train = xgb_trainval, val = xgb_val)
)
我以这种方式可视化了评估日志:
model_iterations <- model_n$evaluation_log$iter
model_train_auc <- model_n$evaluation_log$train_auc
model_val_auc <- model_n$evaluation_log$val_auc
我的结论是,该模型在训练数据上过度拟合,因为 AUC 在 200 次迭代后变得接近 1。同时,该模型仍在验证数据上进行改进。一方面,我会得出结论,500 次迭代后的模型不是一个好的模型,因为它在训练数据上过度拟合。另一方面,该模型在验证数据上的 AUC 最高。
如果该模型对训练数据过度拟合,如上所示,它是否是最佳模型,或者我是否应该进一步调整以使模型对训练数据的过度拟合更少(验证数据的 AUC 相似甚至略低) )?
谢谢!
【问题讨论】:
-
您好,针对您在下面的评论,如果模型在新数据上稳定,则可以过度拟合训练数据。参见 Ying 2019,“我们使用验证集为超参数找出一组完美的值,然后使用测试集进行准确度的最终评估。”和machinelearningmastery.com/overfitting-machine-learning-models。同样在 Kaggle 上,它经常被用来将训练保持在或接近 100% 的拟合度,但对新数据的拟合度要低得多但提高了。但是你必须检查最终的残差。您的模型是否适合捕捉最重要的观察结果?
-
感谢您提供这些有趣的文章。如果我从 Ying 的论文的第一个脚注中阅读源代码,其中提到“例如,如果我们的模型在训练集上看到 99% 的准确率但在测试集上只有 55% 的准确率,那将是一个很大的危险信号。” .请参阅:elitedatascience.com/overfitting-in-machine-learning。同样直观地,我希望在训练集上具有 99% 准确率的模型内部会有很多不必要的复杂性。虽然确实 mlmastery 网站提到了相反的情况。
-
关于这个主题的阅读越多,我就越意识到关于过拟合的观点有很多。这篇文章支持减少训练集和测试集的性能差距。 stats.stackexchange.com/questions/131233/… 而这篇文章 stats.stackexchange.com/questions/515588/… 将过度拟合定义为:意味着模型已经开始学习数据中的随机变异性,但代价是泛化性能下降。我认为我们确实可以得出结论,对 traindata 的过度拟合并不是
-
本身不好,尽管同时尽量减少训练集和测试集的性能差距是一件好事。
-
值得注意的是,在 Grokking 论文中,它们在验证数据上达到了 100% 的拟合度。我想这只有在验证数据中没有噪音的情况下才有可能?
标签: r xgboost overfitting-underfitting