统计学习方法笔记（八）

统计学习方法笔记（八）：提升方法

• 在分类问题中，通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能

提升方法AdaBoost算法

如何改变训练数据的权值或概率分布

• AdaBoost的做法是，提高那些被前一轮弱分类器错误分类样本的权值，而降低那些被正确分类样本的权值。这样的话，那些没有得到正确分类的数据，由于其权值的加大而受到后一轮的弱分类器的更大关注。于是，分类问题被一系列的弱分类器“分而治之”

如何将弱分类器组合成一个强分类器

• 对于弱分类器的组合，AdaBoost采取加权多数表决的方法。具体为，加大分类误差率小的弱分类器的权值，使其在表决中起较大的作用；减小分类误差率大的弱分类器的权值，使其在表决中其较小作用。

AdaBoost算法

AdaBoost算法的理解

提升树

• 提升树是以分类树或回归树为基本分类器的提升方法。提升树被认为是统计学习中性能最好的方法之一

总结