模型融合:

不知不觉来到了模型融合,想到天池的风控好多天没有提交了,决定提交一下,最新成绩是0.7389,rank11。
说来惭愧特征工程方面就制作了一类欺诈率特征,总共10个,然后使用lgb跑了下0.7399(线上0.7387)cat跑了下0.73916,0.8和0.2加权融合0.7389,融模有2个万的收益,有点小,如何提升呢,回归下大神的思路。


模型融合和特征工程:

说这之前先谈下昨天下午的翼支付风控决赛答辩,全程看下来决赛里面还是有不少大佬的思路值得学习。在模型融合方面有些思路值得借鉴。

1.鲁棒性<——>拟合效果
风控比赛第五弹
源自南航晨阳大佬,也是目前排名第二的大佬0.7428的大佬。

解释:两套特征工程的构建,第一部分做的比较全面,重在提升模型的拟合能力,第二部分特征小而精重在提升模型的鲁棒性,通过特征筛选得到。两套特征两个模型交叉得到四个结果,指数加权融合确定最终结果,模型的拟合能力和稳定性都可得到比较好的保证。

2.wrapper特征筛选+多种子单模融合
风控比赛第五弹
源自福州大学两位大佬,使用wrapper方式进行特征筛选,再将剩下的特征放到下个模型中进行训练。多种子模型融合,这个方法乍听起来不靠谱,但实际上确实有助于降低单模型的过拟合增强鲁棒性的,使用5个随机种子进行5次训练结果取平均。

3.采样差异融合
融合的思想和集成树一样,源自差异的提升。除了模型的差异,特征工程的差异,还有一个采样差异融合。设置不同的行和列的采样差异来进行提升,这个问题具体实现有待进一步学习。与之类似的还有一个构造新表的问题。


相关文章:

  • 2022-01-04
  • 2021-11-29
  • 2021-08-16
  • 2022-12-23
  • 2021-12-07
  • 2022-02-19
  • 2022-12-23
猜你喜欢
  • 2021-05-31
  • 2021-07-17
  • 2021-07-11
  • 2021-08-12
  • 2021-05-30
  • 2021-08-04
  • 2021-05-18
相关资源
相似解决方案