内容介绍
模型融合是比赛后期一个重要的环节，大体来说有如下的类型方式。
- 简单加权融合:
- 回归（分类概率）：算术平均融合（Arithmetic mean），几何平均融合（Geometric mean）；
- 分类：投票（Voting)
- 综合：排序融合(Rank averaging)，log融合
- stacking/blending:
- 构建多层模型，并利用预测结果再拟合预测。
- boosting/bagging（在xgboost，Adaboost,GBDT中已经用到）:
- 多树的提升方法
5.3 Stacking相关理论介绍
1）什么是stacking
简单来说stacking 就是当用初始训练数据学习出若干基学习器后，将几个学习器的预测结果作为新的训练集，来学习一个新的学习器
3）Stacking的方法讲解
首先，我们先从一种“不那么正确”但是容易懂的Stacking方法讲起。
Stacking模型本质上是一种分层的结构，这里简单起见，只分析二级Stacking.假设我们有2个基模型 Model1_1、Model1_2 和 一个次级模型Model2
这就是我们两层堆叠的一种基本的原始思路想法。在不同模型预测的结果基础上再加一层模型，进行再训练，从而得到模型最终的预测。
Stacking本质上就是这么直接的思路，但是直接这样有时对于如果训练集和测试集分布不那么一致的情况下是有一点问题的，其问题在于用初始模型训练的标签再利用真实标签进行再训练，毫无疑问会导致一定的模型过拟合训练集，这样或许模型在测试集上的泛化能力或者说效果会有一定的下降，因此现在的问题变成了如何降低再训练的过拟合性，这里我们一般有两种方法。
- 次级模型尽量选择简单的线性模型
- 利用K折交叉验证