GBDT（Gradient boosting decision tree）是一种迭代的决策树算法，又叫MART，他通过构造多颗决策树，并把多颗决策树的结果累加起来作为最后的预测输出。该算法将决策树与集成做了很好的结合
生成梯度提升树的案例：具体步骤：
（1）根据原始数据生成回归树（2）然后计算残差，用残差替代y，生成新的数据。
残差=真实值-预测值
（3）用新生成的数据生成第2颗生成树（4）然后，开始计算新残差，用新残差替换旧残差，再次生成一个新的数据。
（5）预测
具体算法流程：
（1）初始化弱分类器：估计使损失函数极小化的一个常数值，此时树只有一个根节点。
梯度提升树的参数设置：
生成树的个数、生成树的高度、
设置梯度生成树–当然很重要的就是损失函数了
损失函数是平方损失和的时候，残差的计算就是真实值-测量值。
但是当损失函数是其他函数的时候，残差的计算就不一样的，可能为上面的计算公式，也可能是损失函数的负梯度。
损失函数的负梯度近似于残差，所以这个算法也叫做梯度提升算法。