（LXTML笔记）Gradient Boosted Decision Tree

AdaBoost-DTree

根据AdaBoost的思想，

我们希望在生成多个分类器gt$g_t$的时候，增加一个类似于adaboost的权重ut$u_t$，即gt=A(D,ut)$g_t=A(D,u^t)$，在最后组成最终分类器G$G$的时候，增加权重at=at(ut)$a_t=a_t(u^t)$，这是整体的思路。

那么现在的问题是如何嵌入一个ut$u^t$，使得gt=DTree(D,ut)$g_t=DTree(D,u^t)$，注意到之前的Random-Forest等算法中的gt$g_t$仅仅是DTree(D)$DTree(D)$.

如上图所示，本来加入ut$u^t$应该是在Ein$E_{in}$中进行的，但是这不一定能很好地解出，所以这里讲其看成一个black box。注意到ut$u^t$在adaboost是怎么引进来的，他是由boost抽样引进的，所以，我们采用红框所示的抽样方法。即对每一组数据(xn,yn)$(x_n,y_n)$按un$u_n$的比例概率来抽取，这样的话可以近似地处理Ein$E_{in}$且不用改最优化的框架（仅仅是“改”了数据）。

权重at$a_t$仍采用和adaboost一样的操作。

adaboost-DT用于二分类问题

如上更新，注意到由于是二分类问题yn$y_n$是±1，那么ut$u^t$可以有很好地表达式，这个结果和我们要回传的G$G$长得十分类似。

如上图所示，用一种粗糙的解释，实际上上上图中橙色框的部分表示的是一种类似于SVM中的margin，我们希望margin越大越好，即如上图灰色框所示，我们最终希望ut+1$u^{t+1}$越下越好，那么我们可以再弱一些，我们希望能deresases∑Nn=1u(t)n$\sum _{n=1}^N{u}_n^{(t)}$.

采用的是GD，对exp在原点附近泰勒展开后得知我们需要使得∑Nn=1u(t)n(−ynh(xn))$\sum _{n=1}^N{u}_n^{(t)}(-y_{n}h(x_n))$最小化，其中h(xn)$h(x_n)$是变量，进一步化简，

这里的推导说明，实际上最小化EADA$E_{ADA}$相当于最小化Eu(t)in$E_{in}^{u^{(t)}}$，所以推来推去，我们发现了最好的gt$g_t$实际上就是可以通过adaboost来解决的，即gt+1$g_{t+1}$由ut$u^t$和gt$g_t$来获得，忘记的同学可以回到adaboost去查看。

得到最优的gt$g_t$之后，接下来，我们要处理最优的步长，由上面的推导，我们能得出最优的步长就是ln1−ϵtϵt−−−−√$ln\sqrt{\frac{1-{ϵ}_t}{{ϵ}_t}}$！实在是震精！

Gradient Boosting for Regression

推广上面adaboost-DT的loss项，可以推广到一般形式，下面将考虑regression问题，即考虑squared-error。

按照上面的推导的话遇到了一个问题，如果要min只要直接取h(xn)=+∞$h(x_n)=+\mathrm{\infty }$就好了，不过实际上h(xn)$h(x_n)$仅仅是代表一个方向而已（想一想GD），长度应该是由步长控制的，所以，我们尝试对h(xn)$h(x_n)$做点限制，增加一个(h(xn)2)$(h(x_n{)}^2)$项

通过配方，我们发现了一个惊人的事实，如果假设h$h$是线性的话，那么直接对{(xn,yn−sn)}$\{(x_n,y_n-s_n)\}$做LR即可以得到一个最优解！

得到最优h$h$之后，考虑步长，稍微做点代数边形，我们发现一个事实，最优的步长也是可以通过线性回归获得，而且是一元！

对算法重新总结一下即