以决策树为基函数的提升方法称为提升树。决策树可以分为分类树和回归树。提升树模型可以表示为决策树的加法模型。
针对不同的问题的提升术算法的主要区别就是损失函数的不同，对于回归问题我们选用平方损失函数，对于分类问题，我们使用指数损失函数。特别的，对于二分类问题，我们提升树就是把AdaBoost的基分类器选为二分类树即可。
对于回归问题的提升树，我们每一步都是在拟合残差，为什么是在拟合残差？，看公式
其中，r代表的就是残差。我们并不是说我们在拟合残差，而是说我们对于回归问题，选用平方损失函数，然后推导求解fm时，可以认为它是在拟合残差。
对应的回归问题的提升算法如下：
（1）初始化f0
（2）对m = 1,2,3...,M
(2.1) 计算每一个数据的残差：
（2.2）拟合残差学习一颗回归树，得到
（2.3）
（3）得到回归问题的提升树
以上就是提升树的内容，主要理解为什么说提升树是拟合残差的，数学推导
2.梯度提升树
梯度提升的思想主要借鉴了梯度下降法。