python机器学习——boosting集成学习

boosting集成学习

boosting ：训练过程为阶梯状，基模型按次序一一进行训练（实现上可以做到并行），基模型的训练集按照某种策略每次都进行一定的转化。对所有基模型预测的结果进行线性综合产生最终的预测结果。

通俗来说，对于基模型1，我们使用训练集$X_0$X0​,$Y_0$Y0​来训练，得到预测结果$\hat{Y_0}$Y0​^​，然后我们将$Y_0-\hat{Y_0}$Y0​−Y0​^​得到残差$Y_1$Y1​，然后继续利用$X_1$X1​($X_1=X_0$X1​=X0​)和$Y_1$Y1​训练基模型2，以此类推，最后在预测的时候只需要将所有基模型的预测结果相加就行了。这种训练框架的优点是每一个基模型都在修正前面模型的预测结果，这样训练误差就会比之前的模型进一步下降，一般认为boosting方法用于降低偏差（模型预测值与真实值的差距）。比较有代表性的算法就是adaboost。

参考文献

[1]周志华. 机器学习[M]. 清华大学出版社, 北京, 2016.