05梯度提升分类树

梯度提升分类树

一、GBDT-logloss算法流程

1、公式导图

注意:

• Fo是产生的一个起始预测值(可随机)，即两个样本分类的比例的对数

• 负梯度(即残差)，其中yi表示我们的样本分类(yi也可以认为概率)。总结起来说负梯度就是距离真实值还差多少
  $\widetilde{y}_i$y​i​

• 我们可以根据各样本在loss函数中关于的负梯度 的大小，来对判断是否合适。

$\gamma_{mj}表示不同分支的预测值$γmj​表示不同分支的预测值

• 最后一个公式中的I表示符号函数，判断样本属性Xi的分类。如果是这乘以1，否则乘以0，最后进行累加。

2、逻辑斯蒂函数(sigmoid曲线函数)–对应yi负梯度里面的公式

sogmoid函数定义: Sigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。 [1] 在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的**函数，将变量映射到0,1之间。

公式:

公式导数:

Sigmoid函数的图形如S曲线 ：

​

特殊符号:

$\widetilde{y}_i表示负梯度(残差)$y​i​表示负梯度(残差)

$\gamma_{mj} 不同叶子(分类)的预测值(得分)$γmj​不同叶子(分类)的预测值(得分)

3、逻辑回归

极大似然估计：

​ 当我们对样本数据进行分类的时候，样本数据正确分类的概率会随着训练统计次数的越来越多，而接近于我们真实的一个概率。

Z = 单个试验可能结果的得分

公式推导过程

结论:如果要用一个常量来预测y，用log(sum(y)/sum(1-y))是一个最佳的选择。