【问题标题】:Overfitting on the training data while still improving on the validation data在训练数据上过度拟合,同时仍然改进验证数据
【发布时间】:2021-11-26 14:07:12
【问题描述】:

我正在用 R 中的 XGBoost 拟合二元分类模型。我的数据集有 300k 观察值,有 3 个连续预测变量和 1 个单热编码因子变量,有 90 个级别。因变量y 为真或假。

我已经进行了随机二次抽样以找到最佳超参数。对于每个设置,我都做了 5 倍(分组)CV。下面的超参数设置导致 5 倍估值数据折叠的平均 AUC 最高:

booster  objective        max_depth  eta        subsample  colsample_bytree   min_child_weight
gbtree   binary:logistic  8          0.7708479  0.2861735  0.5338721          1

接下来我在下面的 XGBoost 模型拟合中使用了这些超参数设置:

model_n <- xgb.train(data = xgb_trainval,
                         booster = "gbtree",
                         objective = "binary:logistic",
                         max_depth = 8,
                         eta = 0.7708479,
                         subsample = 0.2861735,
                         colsample_bytree = 0.5338721,
                         min_child_weight = 1,
                         nrounds = 1000,
                         eval_metric = "auc",
                         early_stopping_rounds = 30,
                         print_every_n = 100,
                         watchlist = list(train = xgb_trainval, val = xgb_val)
    )

我以这种方式可视化了评估日志:

model_iterations <- model_n$evaluation_log$iter
model_train_auc <- model_n$evaluation_log$train_auc
model_val_auc <- model_n$evaluation_log$val_auc

我的结论是,该模型在训练数据上过度拟合,因为 AUC 在 200 次迭代后变得接近 1。同时,该模型仍在验证数据上进行改进。一方面,我会得出结论,500 次迭代后的模型不是一个好的模型,因为它在训练数据上过度拟合。另一方面,该模型在验证数据上的 AUC 最高。

如果该模型对训练数据过度拟合,如上所示,它是否是最佳模型,或者我是否应该进一步调整以使模型对训练数据的过度拟合更少(验证数据的 AUC 相似甚至略低) )?

谢谢!

【问题讨论】:

  • 您好,针对您在下面的评论,如果模型在新数据上稳定,则可以过度拟合训练数据。参见 Ying 2019,“我们使用验证集为超参数找出一组完美的值,然后使用测试集进行准确度的最终评估。”和machinelearningmastery.com/overfitting-machine-learning-models。同样在 Kaggle 上,它经常被用来将训练保持在或接近 100% 的拟合度,但对新数据的拟合度要低得多但提高了。但是你必须检查最终的残差。您的模型是否适合捕捉最重要的观察结果?
  • 感谢您提供这些有趣的文章。如果我从 Ying 的论文的第一个脚注中阅读源代码,其中提到“例如,如果我们的模型在训练集上看到 99% 的准确率但在测试集上只有 55% 的准确率,那将是一个很大的危险信号。” .请参阅:elitedatascience.com/overfitting-in-machine-learning。同样直观地,我希望在训练集上具有 99% 准确率的模型内部会有很多不必要的复杂性。虽然确实 mlmastery 网站提到了相反的情况。
  • 关于这个主题的阅读越多,我就越意识到关于过拟合的观点有很多。这篇文章支持减少训练集和测试集的性能差距。 stats.stackexchange.com/questions/131233/… 而这篇文章 stats.stackexchange.com/questions/515588/… 将过度拟合定义为:意味着模型已经开始学习数据中的随机变异性,但代价是泛化性能下降。我认为我们确实可以得出结论,对 traindata 的过度拟合并不是
  • 本身不好,尽管同时尽量减少训练集和测试集的性能差距是一件好事。
  • 值得注意的是,在 Grokking 论文中,它们在验证数据上达到了 100% 的拟合度。我想这只有在验证数据中没有噪音的情况下才有可能?

标签: r xgboost overfitting-underfitting


【解决方案1】:

是的,这是一个可行的策略,但有一个最终看不见的测试集。

同时检查所有数据,您是否对观察结果感到满意,它的得分与不满意的观察结果相比得分很高。

您对模型无法处理的案例满意吗?

如果不是,则进行加权训练,这样重要类型的案例处理得很好,而不太重要的案例可能没有。

【讨论】:

  • @niels kristian schmidt 谢谢。对不起,我的问题不够精确。我的主要问题是,如果模型在训练数据上过度拟合,它是否可以是最优的。或者我应该进一步调整以拥有一个对训练数据的过度拟合较少的模型。我会修改上面的问题。
猜你喜欢
  • 1970-01-01
  • 2020-03-13
  • 1970-01-01
  • 2022-11-04
  • 2019-01-10
  • 2017-07-15
  • 2023-03-24
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多