GBDT和XGBoost - 爱码网

前向分步算法

考虑加法模型：
$f(x)=\sum_{i=1}^{M}\beta_ib(x;\gamma_i)$
其中 $b(x;\gamma_i)$ ， $\beta_i$ 分别为基函数和基函数的系数。

在给定训练数据和损失函数 $L(y,f(x))$ 的情况下，学习加法问题成为一个极小化问题：
$(\beta_m,\gamma_m)=\arg_{\beta,\gamma} \min \sum_{i=1}^{N} L(y_i, f_{m-1}(x)+\beta b(x;\gamma))$
其中
$f_{m-1}(x)=\sum_{i=1}^{m-1}\beta_i b(x;\gamma_i)$

##算法
GBDT和XGBoost

Adaboost

令 $y\in\{-1,1\}$ ，选择指数损失函数：
$L(y,f(x))=exp(-yf(x))$
同时规定所有的基函数满足 $b(x;\gamma)\in\{-1,1\}$ ，利用前向分步算法，我们每一步需要极小化
\begin{align*}
(\beta_m,\gamma_m)&=\arg_{\beta,\gamma} \min L_m\
&=\arg_{\beta,\gamma} \min\sum_{i=1}^{n}exp(-y_i(f_{m-1}(x_i)+\beta b(x;\gamma)))\
&=\arg_{\beta,\gamma} \min \sum_{i=1}^{n}\overline{w}_{m,i}exp(-y_i\beta \cdot b(x;\gamma))
\end{align*}
其中 $\overline{w}_{m,i}=exp(-y_if_{m-1}(x_i))$ 与 $\gamma,\beta$ 均无关。

GBDT和XGBoost

Gradient Boosting

在前向分步算法中，我们每一步迭代需要计算
$(\beta_m,\gamma_m)=\arg_{\beta,\gamma} \min \sum_{i=1}^{N} L(y_i, f_{m}(x))$
其中
$f_m(x)=\sum_{j=1}^{m}\beta_j b(x;\gamma_j)$
现在我们换一种思路，上式可以写为：
$L^{\prime}(f_m(x_1),f_m(x_2),\cdots,f_m(x_N))=\sum_{i=1}^{N}L(y_i, f_{m}(x))$
此时损失函数可以看成是关于 ${f_{m}(x_i)} $的函数，这个时候就可以用梯度下降算法来求解：
\begin{align*}
&\frac{\partial{L^{\prime}(f_m(x_1),f_m(x_2),\cdots,f_m(x_N))}}{\partial{f_m(x_i)}}=\frac{\partial{L(y_i,f_m(x_i))}}{\partial{f_m(x_i)}}\
& f_{m+1}(x_i)=f_{m}(x_i)-\beta_{m+1}\frac{\partial{L(y_i,f_m(x_i))}}{\partial{f_m(x_i)}}
\end{align*}
这里的步长不是定值：
GBDT和XGBoost

即每一步训练一个 $b(x:\gamma_m)$ 来拟合当前损失函数的负梯度（伪残差）。

算法

GBDT和XGBoost

对于回归任务，最常用的损失函数是L2测度，此时
GBDT和XGBoost
刚好是模型的残差。

另外常用的损失函数还有 L1 测度和修正的Huber loss函数（L1测度存在不可导点）

L1测度（绝对值损失函数）：
Huber 损失函数：

Gradient Tree Boosting

Gradient boosting 一般使用决策树（尤其是CART，Classification And Regression Tree）作为基础分类器。针对这种特殊情况，Friedman设计了一个修正的gradient boosting 算法。

在第m步，模型需要拟合一颗决策树$ b_{m}(x)$. 令 $J_m $是叶子数目，该决策树将输入空间分配到不相交的 $J_m$ 个区域中： $R_{1m},\ldots,R_{J_{m}m} $，并把每一个区域中的输入预测为常数。利用示性函数，我们可以把决策树的输出写为：
$b_m(x)=\sum_{j=1}^{J_m}v_{jm}\mathcal{I}(x\in R_{jm})$
其中 $v_{jm}$ 是对应区域预测的值。
将该系数乘以某个值，并利用线性搜索方法使得损失函数最小化（不懂）：
GBDT和XGBoost

Friedman 提出可以针对每一个区域选出一个最好的乘子 \beta, 并且把这种方法称为 “Tree Boost”:
GBDT和XGBoost

参数

GBDT和XGBoost

XGBoost

GBDT和XGBoost

机器学习算法中GBDT和XGBOOST的区别有哪些?（来源于知乎wepon的回答）:

传统GBDT以CART作为基分类器，xgboost还支持线性分类器，这个时候xgboost相当于带L1和L2正则化项的逻辑斯蒂回归（分类问题）或者线性回归（回归问题）。
传统GBDT在优化时只用到一阶导数信息，xgboost则对代价函数进行了二阶泰勒展开，同时用到了一阶和二阶导数。顺便提一下，xgboost工具支持自定义代价函数，只要函数可一阶和二阶求导。
xgboost在代价函数里加入了正则项，用于控制模型的复杂度。正则项里包含了树的叶子节点个数、每个叶子节点上输出的score的L2模的平方和。从Bias-variance tradeoff角度来讲，正则项降低了模型的variance，使学习出来的模型更加简单，防止过拟合，这也是xgboost优于传统GBDT的一个特性。
Shrinkage（缩减），相当于学习速率（xgboost中的eta）。xgboost在进行完一次迭代后，会将叶子节点的权重乘上该系数，主要是为了削弱每棵树的影响，让后面有更大的学习空间。实际应用中，一般把eta设置得小一点，然后迭代次数设置得大一点。（补充：传统GBDT的实现也有学习速率）
列抽样（column subsampling）。xgboost借鉴了随机森林的做法，支持列抽样，不仅能降低过拟合，还能减少计算，这也是xgboost异于传统gbdt的一个特性。
xgboost工具支持并行。boosting不是一种串行的结构吗?怎么并行的？注意xgboost的并行不是tree粒度的并行，xgboost也是一次迭代完才能进行下一次迭代的（第t次迭代的代价函数里包含了前面t-1次迭代的预测值）。xgboost的并行是在特征粒度上的。我们知道，决策树的学习最耗时的一个步骤就是对特征的值进行排序（因为要确定最佳分割点），xgboost在训练之前，预先对数据进行了排序，然后保存为block结构，后面的迭代中重复地使用这个结构，大大减小计算量。这个block结构也使得并行成为了可能，在进行节点的分裂时，需要计算每个特征的增益，最终选增益最大的那个特征去做分裂，那么各个特征的增益计算就可以开多线程进行。
可并行的近似直方图算法。树节点在进行分裂时，我们需要计算每个特征的每个分割点对应的增益，即用贪心法枚举所有可能的分割点。当数据无法一次载入内存或者在分布式情况下，贪心算法效率就会变得很低，所以xgboost还提出了一种可并行的近似直方图算法，用于高效地生成候选的分割点

XGBoost参数

GBDT和XGBoost

参考资料

从加法模型讲到XGBoost模型