一、模型相比GBDT做了哪些改进
1)损失函数中加入了正则化项
2)在节点的分裂过程中,进行了并行化
3)
二、模型的公式推导
三、模型在求解什么东西
1)每个叶结点j的最优分数: w∗j 的计算
2)树如何分裂,即分裂点的选择
a. Exact Greedy Algorithm for split Finding,是一种利用穷举法选择最佳的分裂节点
即求解在第t轮如何生成一颗树
四、求解过程中要点
a. 第一步,对树模型进行了定义,即Wq(x)表示一颗树的结构;
b. 在损失函数中,引入了正则化项 rT+1/2lamda*||w||;
c. 在t轮中,对损失函数进行了二次泰勒展开;
d. 将对数据的遍历,转换为对叶子结点内部数据的遍历
e. 先求解wj, 得到树模型的评分(输出),带入损失函数,可求出每个叶结点对损失函数的贡献公式,利用此公式作为节点分裂的依据。