备注本文参考李航老师的统计学习方法第8章

   提升方法的基本思路:对于复杂任务来说,将多个专家的判断进行综合所得的判断,要比其中任何一个专家的判断好,

其实就是三个臭皮匠顶个诸葛亮的道理,提升方法是从弱学习算法出发,反复学习得到一系列的分类器,然后组合这些

弱分类器构成一个强分类器。大多数的提升方法都是改变训练数据集的概率分布,针对不同的训练数据分布调用弱学习

算法学习一系列的弱学习算法。其基本拓扑图如下


强分类器(提升方法)-----------AdaBoost算法原理和推导过程

所以Adaboost主要分两步,第一基本分类器怎么形成,第二ai的值怎么确定,接下来就介绍Adaboost的求解过程

1.AdaBoost算法

输入:训练数据集T={(x1,y1),(x2,y2),...,(xn,yn)},其中每个样本点由实例和标记组成,AdaBoost利用一下算法,从训练数据中

学习一些列弱分类器或基本分类器,并将这些弱分类器线性组合成一个强分类器。

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

实现AdaBoost例子:假设有数据集如下

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

能使数据分成两类的x取值范围分布,

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

强分类器(提升方法)-----------AdaBoost算法原理和推导过程

到此Adaboost的基本求解过程已完成,后续增加提升树算法的推到过程

相关文章:

  • 2021-07-25
  • 2021-10-16
  • 2021-05-14
  • 2021-12-03
  • 2021-10-16
  • 2021-10-16
  • 2021-05-06
  • 2022-01-15
猜你喜欢
  • 2022-12-23
  • 2021-05-16
  • 2021-08-01
  • 2021-12-20
相关资源
相似解决方案