梯度提升树如何计算分类错误？

Question

我了解当我们根据前一个模型的残差构建下一个模型时，梯度提升如何用于回归 - 如果我们使用例如线性回归，那么它将是残差作为下一个模型的目标，然后对所有模型求和最后的模型变得更精简

但是如何在梯度提升分类树中做到这一点？假设我们有一个结果为 0/1 的二元分类模型——下一个要训练的模型的残差是多少？它是如何计算的，因为它不会像线性回归那样是 y 减去 y 预测的。

我真的被这个卡住了！一个二叉分类树的错误是它错误分类的错误 - 那么下一个模​​型的目标只是错误分类的点吗？

Answer 1

二元分类可以提出为预测概率的回归问题，例如P(y=1 | x)，其中y是类标签。您可以使用对数损失（逻辑损失）而不是平方损失来实现这一点。