备注本文参考李航老师的统计学习方法第8章
提升方法的基本思路:对于复杂任务来说,将多个专家的判断进行综合所得的判断,要比其中任何一个专家的判断好,
其实就是三个臭皮匠顶个诸葛亮的道理,提升方法是从弱学习算法出发,反复学习得到一系列的分类器,然后组合这些
弱分类器构成一个强分类器。大多数的提升方法都是改变训练数据集的概率分布,针对不同的训练数据分布调用弱学习
算法学习一系列的弱学习算法。其基本拓扑图如下
所以Adaboost主要分两步,第一基本分类器怎么形成,第二ai的值怎么确定,接下来就介绍Adaboost的求解过程
1.AdaBoost算法
输入:训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)},其中每个样本点由实例和标记组成,AdaBoost利用一下算法,从训练数据中
学习一些列弱分类器或基本分类器,并将这些弱分类器线性组合成一个强分类器。
实现AdaBoost例子:假设有数据集如下
能使数据分成两类的x取值范围分布,
到此Adaboost的基本求解过程已完成,后续增加提升树算法的推到过程