集成学习三结合策略及(平均、投票、stacking）与多样性

集成学习一Boosting
http://blog.csdn.net/loveitlovelife/article/details/79392187
集成学习二Bagging与Random Forest
http://blog.csdn.net/loveitlovelife/article/details/79397739

结合策略

优点：
1.提高泛化性能
2.降低进入局部最小点的风险
3.扩大假设空间

平均法：简单平均、加权平均
适用范围：
+规模大的集成，学习的权重较多，加权平均法易导致过拟合
+个体学习器性能相差较大时宜使用加权平均法，相近用简单平均法。

投票法：
1.绝对多数投票法：某标记超过半数；
2.相对多数投票法：预测为得票最多的标记，若同时有多个标记的票最高，则从中随机选取一个。
3.加权投票法：提供了预测结果，与加权平均法类似。

学习法
Stacking描述：先从初始数据集中训练出初级学习器，然后“生成”一个新数据集用于训练次级学习器。在新数据集中，初级学习器的输出被当做样例输入特征，初始样本的标记仍被当做样例标记。

算法步骤：
输入：训练集D=(x1,y1),(x2,y2),...,(xm,ym)$D=(x_1,y_1),(x_2,y_2),...,(x_m,y_m)$;
初级学习算法：Λ1,Λ2,...,ΛT;${\mathrm{\Lambda }}_1,{\mathrm{\Lambda }}_2,...,{\mathrm{\Lambda }}_T;$
次级学习算法：Λ$\mathrm{\Lambda }$
过程：
1、for t=1,2,...,T do$fort=1,2,...,Tdo$
2、ht=Λt(D);$h_t={\mathrm{\Lambda }}_t(D);$
3、end for$endfor$
4、D‘=∅$D^{‘}=\varnothing$
5、for i=1,2,...,m do$fori=1,2,...,mdo$
6、for t=1,2,...,T do$fort=1,2,...,Tdo$
7、zit=ht(xi);$z_{it}=h_t(x_i);$
8、endfor$endfor$
9、D′=D′⋃((zi1,zi2,...,ziT),yi);$D^{\prime }=D^{\prime }\bigcup ((z_{i1},z_{i2},...,ziT),y_i);$
10、endfor$endfor$
11、h′=Λ(D′);$h^{{}^{\prime }}=\mathrm{\Lambda }(D^{\prime });$
输出：H(x)=h′(h1(x),h2(x),...,hT(x))$H(x)=h^{{}^{\prime }}(h_1(x),h_2(x),...,h_T(x))$

+通过交叉验证产生次级学习器的训练样本；
+将初级学习器的输出类概率作为次级学习器的输入属性，用多响应线性回归作为次基学习算法效果较好；

多样性

1.误差-分歧分解：

H(x)=∑i=1Twihi(x)$$H(x)=\sum _{i=1}^T{w}_i{h}_i(x)$$

则学习器hi$h_i$的‘分歧’为：

A(hi|x)=(hi(x)−H(x))2$$A(h_i|x)=(h_i(x)-H(x){)}^2$$

集成的分歧：

A¯(h|x)=∑i=1TwiA(hi|x)=∑i=1Twi(hi(x)−H(x))2$$\overline{A}(h|x)=\sum _{i=1}^T{w}_{i}A(h_i|x)=\sum _{i=1}^T{w}_i(h_i(x)-H(x){)}^2$$

‘分歧’表征了个体学习器在样本上的不一致性即多样性

个体学习器和集成学习器的平方误差分别为：

E(hi|x)=(f(x)−hi(x))2$$E(h_i|x)=(f(x)-h_i(x){)}^2$$

E(H|x)=(f(x)−H(x))2$$E(H|x)=(f(x)-H(x){)}^2$$

令E¯(h|x)=∑Ti=1wi⋅E(hi|x)$\overline{E}(h|x)=\sum _{i=1}^T{w}_i·E(h_i|x)$表示个体学习器误差的加权平均值，
则：

A¯(h|x)=∑i=1TwiE(hi|x)−E(H|x)=E¯(h|x)−E(H|x)$$\overline{A}(h|x)=\sum _{i=1}^T{w}_{i}E(h_i|x)-E(H|x)=\overline{E}(h|x)-E(H|x)$$

结论：个体学习器准确性越高，多样性越大，则集成性能越好

2.多样性度量
考虑个体分类器的两两相似/不相似性

对于二分类问题，分类器hi和hj$h_i和h_j$的预测结果列联表为：

a表示hi和hj$h_i和h_j$均预测为正类的样本数目；b、c、d含义由此类推；a+b+c+d=m，则有如下多样性度量方法：

+不合度量disij=b+cm,值域为[0,1]，其越大多样性越大$di{s}_{ij}=\frac{b+c}{m},值域为[0,1]，其越大多样性越大$

+相关系数ρij=ad−bc(a+b)(a+c)(c+d)(b+d)√，值域为[−1,1],若hi与hj无关，则值为0；若正相关则为正，否则为负${\rho }_{ij}=\frac{ad-bc}{\sqrt{(a+b)(a+c)(c+d)(b+d)}}，值域为[-1,1],若h_i与h_j无关，则值为0；若正相关则为正，否则为负$

+Q-统计量Qij=ad−bcad+bc,Qij与相关系数ρij符号相同。$Q_{ij}=\frac{ad-bc}{ad+bc},Q_{ij}与相关系数{\rho }_{ij}符号相同。$

+κ$\kappa$-统计量κ=p1−p21−p2,$\kappa =\frac{p_1-p_2}{1-p_2},$其中p1是两个分类器取得一致的概率；p2$p_1是两个分类器取得一致的概率；p_2$是两个分类器偶然达成一致的概率，他们可有数据集D估算：

p1=a+dm;p2=(a+b)(a+c)+(c+d)(b+d)m2$$p_1=\frac{a+d}{m};p_2=\frac{(a+b)(a+c)+(c+d)(b+d)}{m^2}$$

3多样性增强

+数据样本扰动：基于采样法产生不同数据子集，利用不同子集训练出不同的个体学习器，例如Bagging自助采样；AdaBoost序列采样。
此类扰动方法对“不稳定基学习器”很有效例如：决策树、神经网络

+输入属性扰动：通过对初始属性中提取“子空间（属性子集）”，在不同的空间中训练个体学习器
适用算法：线性学习器、支持向量机、朴素贝叶斯、k-近邻学习器等稳定基学习器，此类扰动可以产生大量多样性的个体，且节省开销时间

+输出表示扰动：对输出表示进行操纵以增强多样性，可对训练样本的类标记稍作变动，如“翻转法”、“ECOC编码法”

+算法参数扰动：设置算法的参数，例如神经网络的隐层神经元数、连接权值等，使用单一学习器时通常需要使用交叉验证方法来确定参数值。

---

Boosting主要关注降低偏差，而Bagging主要关注降低方差