1.GDBT 对决策树加权

其实就是每次计算下一步的时候,挑选那个让损失函数最小的f(x)来对决策树进行优化

1.1基本原理和目标函数

6 对分类器的提升
6 对分类器的提升

一个决策树的核心是树的结构和叶的权值
6 对分类器的提升

6 对分类器的提升

1.2 正则项的定义

让叶子节点的个数,和权值进入,可以在一定程度上防止过拟合6 对分类器的提升

1.3 对目标函数的简化(拿到目标函数的最小值)

6 对分类器的提升
6 对分类器的提升
6 对分类器的提升

6 对分类器的提升
6 对分类器的提升

1.4 自己的一点理解

关于XGBoost是对一个决策树进行提升,但由于目标韩硕过于复杂,无法进行求导,因此通过泰勒展开对函数进行描述,最后求导。这个思想非常类似于梯度下降算法
至于一直当做变量的f(x)实际的意义在于对数据集进行了划分。

2.Adaboost 其实是对决策树中叶子节点的加权

2.1 初始化叶子权值

6 对分类器的提升

2.2 对分类错误节点权值的计算

至于a为啥那么定义那,其实就是如果分类的正确率很高的话,可以相应的提高权值
6 对分类器的提升

2.3 更新权值

6 对分类器的提升

2.4 最终分类函数是多次的加权后的加和6 对分类器的提升

2.5 小栗子

6 对分类器的提升
6 对分类器的提升
6 对分类器的提升
6 对分类器的提升
6 对分类器的提升
6 对分类器的提升
6 对分类器的提升
6 对分类器的提升

相关文章:

  • 2021-06-21
  • 2021-07-12
  • 2021-08-29
  • 2021-09-02
  • 2021-10-24
  • 2021-07-26
  • 2021-11-22
  • 2022-12-23
猜你喜欢
  • 2022-02-04
  • 2022-12-23
  • 2021-05-16
  • 2021-11-27
  • 2022-01-09
  • 2021-12-03
  • 2022-12-23
相关资源
相似解决方案