回归如何在 XGboost 中工作？

【问题标题】：How does Regression works in XGboost?回归如何在 XGboost 中工作？
【发布时间】：2019-11-21 09:19:50
【问题描述】：

XGboost 如何执行回归任务？

Ex- 我们知道，对于 Boosting 中的分类问题，它会惩罚错误分类的点，并在下一个树桩中为它们赋予更多的权重。

在回归的情况下如何给出权重？

【问题讨论】：

【解决方案1】：

1. 让我们看一个简单的回归示例，使用决策树作为基本预测变量（当然，梯度提升也适用于回归任务）。这称为梯度树提升或梯度提升回归树 (GBRT)。

2.首先，让我们将 DecisionTreeRegressor 拟合到训练集（输出是噪声二次拟合）

3.接下来我们将根据第一棵回归树的残差训练第二棵回归树。

4.然后我们根据第二个预测器产生的残差训练第三个回归器

5.现在我们有一个包含三棵树的集合。它可以通过简单地将所有树的预测相加来对新实例进行预测：

【讨论】：