什么是提升树？
提升树是以分类树或者回归树为基分类器的提升算法，提升树被认为是统计学习中性能最好的方法之一。
提升树模型是采用加法模型和前向分步算法，以决策树为基分类器，最后得到的模型。
加法模型
形如下图的函数表达形式
其中，
在给定训练数据及损失函数 L(y,f(x))的条件下，学习加法模型f(x)成为损失函数极小化问题：
这个问题按照常规求导很难计算，采用前向分步算法可以较为容易的解决此问题。
前向分步算法的思想是：由于学习的是加法模型，如果可以从前往后，每一步只学习一个基函数和它的系数，逐步逼近上述问题，就能够简化优化的复杂度。具体地，每步只需优化如下损失函数：
前向分步算法
提升树算法
提升树模型用数学表达式表示如下：
对于二分类问题，只需将adaboost模型中的基分类器设定为二类分类树即可。
BDT使用回归树作为基学习器时：
r是当前模型拟合数据的残差，所以对于回归问题的提升树而言，只需要简单的拟合当前模型的残差。
回归问题的提升树算法：