首先 我们看一下Boosting思想与Bagging思想
随机森林是在bagging模型下的 而Adboost是在boosting模型下的
Boosting是通过串行地构造多个个体分类器,然后以一定的方式将他们组合成一个强学习器
Bagging是Bootstrap Aggregating的缩写,通过并行地构造多个个体分类器,然后以一定的方式将他们组合成一个强学习器
这两个的主要区别就是 一个是串行的 一个是并行的 然后再来看随机森林与Adboost
随机森林
介绍
随机森林是基于决策树的集成模型,随机森林机器学习中最成功的的算法之一,他能做二分类多分类和回归任务。随机森林中集成了很多棵决策树 目的是为了减少过拟合的风险(减少模型方差)
优点
随机森林可以像决策树一样,处理类别特征与连续特征,能扩展到多类分类不需要特征缩放,能捕获非线性关系和特征之间的影响
算法可以并行
Adboost
定义
Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
思想
前面的模型对训练集预测后,在每一个样本上都会产生一个不同的损失,Adaboost会为每个样本更新权重,分类错误的样本要提高权重,分类正确的样本要降低权重,下一个学习器会更加“关注”权重大的样本;每一次得到一个模型后,根据模型在改数据上的表现给当前模型设置一个权重,表现好的权重大,最终带权叠加得到最终集成模型。