提升树与GBDT

参考
https://www.cnblogs.com/ModifyRong/p/7744987.html
李航《统计学习方法》

提升树：

以决策树为基函数的提升方法为提升树

表示为决策树的加法模型，同时采用前向分布算法：
fM(x)=∑Mm=1T(x;Θm)$f_M(x)=\sum _{m=1}^{M}T(x;{\mathrm{\Theta }}_m)$;
其中，M为树的个数，T(x;Θm)为决策树，Θm为决策树参数$其中，M为树的个数，T(x;{\mathrm{\Theta }}_m)为决策树，{\mathrm{\Theta }}_m为决策树参数$;

首先确定初始提升树f0(x)=0$f_0(x)=0$，第步的模型是：
fm(x)=fm−1(x)+T(x;θm))，其中fm−1(x)为当前模型，通过经验风险极小化确定下一颗决策树参数Θm:$f_m(x)=f_{m-1}(x)+T(x;{\theta }_m))，其中f_{m-1}(x)为当前模型，通过经验风险极小化确定下一颗决策树参数{\mathrm{\Theta }}_m:$

Θ^m=argminΘm∑i=1NL(yi,fm−1(xi)+T(xi;Θm))$${\hat{\mathrm{\Theta }}}_m=argmi{n}_{{\mathrm{\Theta }}_m}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\mathrm{\Theta }}_m))$$

回归树及参数

已知一个训练数据集:
T=(x1,y1),(x2,y2）,...,(xN,yN),xi∈χ⊆Rn,$T=(x_1,y_1),(x_2,y_2）,...,(x_N,y_N),x_i\in \chi \subseteq R^n,$
如果将输入空间χ$\chi$划分为J个不相交的区域R1,R2,...,RJ$R_1,R_2,...,R_J$，并且在每个区域上确定输出的常量cj$c_j$，那么树可以表示为：

T(x;Θ)=∑j=1JcjI(x∈Rj)$$T(x;\mathrm{\Theta })=\sum _{j=1}^J{c}_{j}I(x\in R_j)$$

其中，参数Θ=(R1,c1),(R2,c2),...,(Rj,cJ)$\mathrm{\Theta }=(R_1,c_1),(R_2,c_2),...,(R_j,c_J)$表示树的区域划分和各区域上的常数，J是回归树的复杂度，即叶节点个数。

CART TREE的生成过程实际上就是一个选择特征的过程。

假设我们目前总共有 M 个特征。
第一步我们需要从中选择出一个特征j，做为二叉树的第一个节点。然后对特征j的值选择一个切分点m.一个样本的特征j的值 如果小于m，则分为一类，如果大于m,则分为另外一类。如此便构建了CART树的一个节点。其他节点的生成过程和这个是一样的。现在的问题是在每轮迭代的时候，如何选择这个特征j,以及如何选择特征j的切分点m:

寻找切分点的公式：

mins[minc1∑xi∈R1(yi−c1)2+minc2∑xi∈R2(yi−c2)2]$$mi{n}_s[mi{n}_{c_1}\sum _{x_i\in R_1}(y_i-c_1{)}^2+mi{n}_{c_2}\sum _{x_i\in R_2}(y_i-c_2{)}^2]$$

即：选择合适的切点，使得平方损失最小

提升树的损失函数

在前向算法的第m步，给定当前模型fm−1(xi)$f_{m-1}(x_i)$,需求解

Θ^m=argminΘm∑i=1NL(yi,fm−1(xi)+T(xi;Θm))$${\hat{\mathrm{\Theta }}}_m=argmi{n}_{{\mathrm{\Theta }}_m}\sum _{i=1}^{N}L(y_i,f_{m-1}(x_i)+T(x_i;{\mathrm{\Theta }}_m))$$

得到Θ^m，即第m${\hat{\mathrm{\Theta }}}_m，即第m$棵树的参数。

平方损失函数：L(y,f(x))=(y−f(x))2$L(y,f(x))=(y-f(x){)}^2$即：

L(y,fm−1(x)+T(x;Θm))=[y−fm−1(x)−T(x;Θm)]2=[r−T(x;Θ)]2$$L(y,f_{m-1}(x)+T(x;{\mathrm{\Theta }}_m))=[y-f_{m-1}(x)-T(x;{\mathrm{\Theta }}_m){]}^2=[r-T(x;\mathrm{\Theta }){]}^2$$

上式中r为残差，所以提升树在第一部以后只需要拟合当前模型的残差即可
算法步骤：
输入：训练数据
T=(x1,y1),(x2,y2）,...,(xN,yN),xi∈χ⊆Rn,yi∈γ⊆R$T=(x_1,y_1),(x_2,y_2）,...,(x_N,y_N),x_i\in \chi \subseteq R^n,y_i\in \gamma \subseteq R$
输出：提升树fM(x)$f_M(x)$

1.初始化f0(x)=0;$f_0(x)=0;$
2.对m=1,2,...,M:$m=1,2,...,M:$
(a)计算残差：rmi=yi−fm−1(xi),i=1,2,...,N$r_{mi}=y_i-f_{m-1}(x_i),i=1,2,...,N$
(b)拟合残差rmi$r_{mi}$学习一个回归树，得到T(x;Θm)$T(x;{\mathrm{\Theta }}_m)$
(c)更新fm(x)=fm−1(x)+T(x;Θm)$f_m(x)=f_{m-1}(x)+T(x;{\mathrm{\Theta }}_m)$
3.得到回归提升树：

fM(x)=∑m=1MT(x;Θm)$$f_M(x)=\sum _{m=1}^{M}T(x;{\mathrm{\Theta }}_m)$$

例：《统计学习方法》149-150看完全明白了

梯度提升：利用损失函数的负梯度在当前模型的值作为回归问题提升树算法中的残差的近似值去拟合一个回归树，GBDT每一轮迭代的时候都去拟合损失函数在当前模型下的负梯度。这样每轮训练的时候都能够让损失函数尽可能快的减小，尽快的收敛达到局部最优解或者全局最优解。

整理的有点乱。。