xgboost原理解析

姓名：Jyx
班级：csdn人工智能直通车-5期
描述：这是本人在学习人工智能时的学习笔记，加深理解

前面我们探讨了什么是Gradient Boosting。xgboost是Gradient Boosting一种算法实现，从前面介绍知道，Gradient Boosting的优化过程只是利用了损失函数的一阶导数。与一般的Gradient Boosting不同，xgboost更进一步，其优化过程考虑了损失函数的二阶导数，并且考虑了正则

xgboost

xgboost的基分类器一般为决策树。
对于任意损失函数L(y,F(x))$L(y,F(\mathbf{x}\mathbf{)}\mathbf{)}$,在第m步，在Fm−1(x)$F_{m-1}(\mathbf{x}\mathbf{)}$进行泰勒展开

L(y,Fm(x))=L(y,Fm−1(x)+αmϕ(x;θm))≈L(y,Fm−1(x))+gmϕ(x;θm)+12Hmϕ2(x;θm)$$\begin{array}{rl}L(y,F_m(\mathbf{x}\mathbf{)}\mathbf{)}& =L(y,F_{m-1}(\mathbf{x}\mathbf{)}\mathbf{+}{\alpha }_{\mathbf{m}}\varphi \mathbf{(}\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}\mathbf{)}\\ & \approx L(y,F_{m-1}(\mathbf{x}\mathbf{)}\mathbf{)}\mathbf{+}{\mathbf{g}}^{\mathbf{m}}\varphi \mathbf{(}\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}\mathbf{+}\frac{\mathbf{1}}{\mathbf{2}}{\mathbf{H}}^{\mathbf{m}}{\varphi }^{\mathbf{2}}\mathbf{(}\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}\end{array}$$

这里gm,Hm$g^m,H^m$分别是L(y,Fm−1(x))$L(y,F_{m-1}(\mathbf{x}\mathbf{)}\mathbf{)}$对Fm−1(x)$F_{m-1}(\mathbf{x}\mathbf{)}$一阶和二阶导数
公式中的其它参数含义请参考我的前一篇文章Gradient Boosting
考虑到L(y,Fm−1(x))$L(y,F_{m-1}(\mathbf{x}\mathbf{)}\mathbf{)}$在本轮循环中为常量，可以丢弃，不影响优化
xgboost的正则定义为

Ω(θ)=γT+12λ∑t=1Tw2t$$\mathrm{\Omega }(\theta \mathbf{)}\mathbf{=}\gamma \mathbf{T}\mathbf{+}\frac{\mathbf{1}}{\mathbf{2}}\lambda \sum _{\mathbf{t}\mathbf{=}\mathbf{1}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{t}}^{\mathbf{2}}$$

这里T为叶子节点的个数，wt$w_t$表示每个叶子节点的分数
所以

L(y,Fm(x))=∑i=1N[gmϕ(x;θm)+12Hmϕ2(x;θm)]+γT+12λ∑t=1Tw2t(1)$$\begin{array}{}\mathbf{\text{(1)}}& L(y,F_m(\mathbf{x}\mathbf{)}\mathbf{)}& =\sum _{i=1}^N[g^m\varphi (\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}\mathbf{+}\frac{\mathbf{1}}{\mathbf{2}}{\mathbf{H}}^{\mathbf{m}}{\varphi }^{\mathbf{2}}\mathbf{(}\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}\mathbf{]}\mathbf{+}\gamma \mathbf{T}\mathbf{+}\frac{\mathbf{1}}{\mathbf{2}}\lambda \sum _{\mathbf{t}\mathbf{=}\mathbf{1}}^{\mathbf{T}}{\mathbf{w}}_{\mathbf{t}}^{\mathbf{2}}\end{array}$$

对于决策树来说，ϕ(x;θm)$\varphi (\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}$的取值取决于落在那个叶子节点上，我们用qm(xi)$q_m(x_i)$表示xi$x_i$所属的叶子节点则有ϕ(x;θm)=wqm(xi)$\varphi (\mathbf{x}\mathbf{;}{\theta }_{\mathbf{m}}\mathbf{)}\mathbf{=}{\mathbf{w}}_{{\mathbf{q}}_{\mathbf{m}}\mathbf{(}{\mathbf{x}}_{\mathbf{i}}\mathbf{)}}$,于是1式可以写成

L(y,Fm(x))=∑i=1N[gmwqm(xi)+12Hmw2qm(xi)]+γT+12λ∑t=1Tw2t(2)$$\begin{array}{}\text{(2)}& L(y,F_m(\mathbf{x}\mathbf{)}\mathbf{)}& =\sum _{i=1}^N[g^m{w}_{q_m(x_i)}+\frac{1}{2}{H}^m{w}_{q_m(x_i)}^2]+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2\end{array}$$

另一方面我们用It$I_t$表示所有属于第t$t$个节点的集合，对样本的求和也可以改写成对叶子节点的求和，即

L(y,Fm(x))=∑t=1T[∑xi∈Itgmwt+∑xi∈It12Hmw2t]+γT+12λ∑t=1Tw2t=∑t=1T[∑xi∈Itgmwt+∑xi∈It12Hmw2t+12λw2t]+γT=∑t=1T[(∑xi∈Itgm)Gtwt+12(∑xi∈ItHmHt+λ)w2t]+γT=∑t=1T[Gtwt+12(Ht+λ)w2t]+γT(3)(4)$$\begin{array}{rl}\text{(3)}& L(y,F_m(\mathbf{x}\mathbf{)}\mathbf{)}& =\sum _{t=1}^T[\sum _{x_i\in I_t}{g}^m{w}_t+\sum _{x_i\in I_t}\frac{1}{2}{H}^m{w}_t^2]+\gamma T+\frac{1}{2}\lambda \sum _{t=1}^T{w}_t^2& =\sum _{t=1}^T[\sum _{x_i\in I_t}{g}^m{w}_t+\sum _{x_i\in I_t}\frac{1}{2}{H}^m{w}_t^2+\frac{1}{2}\lambda w_t^2]+\gamma T\\ & =\sum _{t=1}^T[\underset{G_t}{\underbrace{(\sum _{x_i\in I_t}{g}^m)}}{w}_t+\frac{1}{2}(\underset{H_t}{\underbrace{\sum _{x_i\in I_t}{H}^m}}+\lambda )w_t^2]+\gamma T\\ \text{(4)}& & =\sum _{t=1}^T[G_t{w}_t+\frac{1}{2}(H_t+\lambda )w_t^2]+\gamma T\end{array}$$

我们希望最小化损失，上式可以看成是一个wt$w_t$的二次方程，其最小值在−b2a$-\frac{b}{2a}$处，即有

w^t=−GtHt+λL(y,Fm(x))=−12∑t=1TG2tHt+λ+γT(5)$$\begin{gathered} \begin{array}{}\mathbf{\text{(5)}}& {\hat{w}}_t=-\frac{G_t}{H_t+\lambda } \\ L(y,F_m(\mathbf{x}\mathbf{)}\mathbf{)}\mathbf{=}\mathbf{-}\frac{\mathbf{1}}{\mathbf{2}}\sum _{\mathbf{t}\mathbf{=}\mathbf{1}}^{\mathbf{T}}\frac{{\mathbf{G}}_{\mathbf{t}}^{\mathbf{2}}}{{\mathbf{H}}_{\mathbf{t}}\mathbf{+}\lambda }\mathbf{+}\gamma \mathbf{T}\end{array} \end{gathered}$$

直接优化上式是一个很棘手的任务，一般我们是通过一级一级增长来建立决策树的，这样，每个叶子的分裂增益可以很容易求出来

Gain=12[G2LHL+λ+G2RHR+λ−(GL+GR)2HL+HR+λ]−γ$$Gain=\frac{1}{2}[\frac{G_L^2}{H_L+\lambda }+\frac{G_R^2}{H_R+\lambda }-\frac{(G_L+G_R{)}^2}{H_L+H_R+\lambda }]-\gamma$$

如果增益小于0， 则迭代终止，这里也可以明显的看出γ$\gamma$这个正则的作用

这样xgboost的求解过程就包含了两次迭代，一次对树的个数进行迭代，另一个是对每棵树内部的增长进行迭代

算法的更加详细的解释可以参考xgboost的官方文档

对算法中使用的各个变量xgboost官方也给出了如下通俗解释

树的结构


Gt,Ht的计算$G_t,H_t的计算$

以上所有图片均出自xgboost的官方文档