一、模型相比GBDT做了哪些改进

1)损失函数中加入了正则化项

2)在节点的分裂过程中,进行了并行化

3)

二、模型的公式推导

XGBoost模型

XGBoost模型

三、模型在求解什么东西

1)每个叶结点j的最优分数: w∗j 的计算

2)树如何分裂,即分裂点的选择

     a. Exact Greedy Algorithm for split Finding,是一种利用穷举法选择最佳的分裂节点

即求解在第t轮如何生成一颗树

四、求解过程中要点

a. 第一步,对树模型进行了定义,即Wq(x)表示一颗树的结构;

b. 在损失函数中,引入了正则化项 rT+1/2lamda*||w||;

c. 在t轮中,对损失函数进行了二次泰勒展开;

d. 将对数据的遍历,转换为对叶子结点内部数据的遍历

e. 先求解wj, 得到树模型的评分(输出),带入损失函数,可求出每个叶结点对损失函数的贡献公式,利用此公式作为节点分裂的依据。

 

相关文章:

  • 2022-01-13
  • 2021-04-13
  • 2022-01-02
  • 2022-01-23
  • 2022-01-17
  • 2021-12-11
  • 2021-12-25
  • 2021-06-25
猜你喜欢
  • 2021-08-02
  • 2021-04-11
  • 2021-12-14
  • 2022-12-23
  • 2022-12-23
  • 2022-02-07
  • 2021-05-12
相关资源
相似解决方案