XGBoost的损失函数和评价指标

Question

我现在对XGBoost 中使用的损失函数感到困惑。以下是我感到困惑的地方：

1. 我们有objective，这是需要最小化的损失函数； eval_metric：用于表示学习结果的度量。这两者是完全不相关的（如果我们不考虑分类，只有logloss 和mlogloss 可以用作eval_metric）。它是否正确？如果我是，那么对于分类问题，如何使用rmse 作为性能指标？
2. 以objective 的两个选项为例，reg:logistic 和binary:logistic。对于 0/1 分类，通常应该将二元逻辑损失或交叉熵视为损失函数，对吗？那么这两个选项中的哪一个是针对这个损失函数的，另一个的值是多少呢？说，如果binary:logistic代表交叉熵损失函数，那么reg:logistic是做什么的？
3. multi:softmax 和multi:softprob 有什么区别？他们是否使用相同的损失函数，只是输出格式不同？如果是这样，reg:logistic 和 binary:logistic 也应该是一样的，对吧？

第二个问题的补充

比如说，0/1 分类问题的损失函数应该是 L = sum(y_i*log(P_i)+(1-y_i)*log(P_i))。所以如果我需要在这里选择binary:logistic，或者reg:logistic让xgboost分类器使用L损失函数。如果是binary:logistic，那么reg:logistic使用什么损失函数？

Answer 1

'binary:logistic' 使用-(y*log(y_pred) + (y-1)*(log(1-y_pred)))

'reg:logistic' 使用 (y - y_pred)^2

为了得到误差的总估计，我们将所有误差相加并除以样本数。

---

您可以在基础知识中找到它。在查看线性回归与逻辑回归时。

线性回归使用(y - y_pred)^2 作为成本函数

逻辑回归使用-(y*log(y_pred) + (y-1)*(log(1-y_pred))) 作为成本函数

---

评估指标是完全不同的东西。他们设计来评估您的模型。你可能会被它们弄糊涂，因为在回归问题中使用一些与损失函数相同的评估指标是合乎逻辑的，比如MSE。然而，在二进制问题中，查看logloss 并不总是明智的。我的经验认为我（在分类问题中）一般会关注AUC ROC。

编辑

---

根据 xgboost 文档：

reg:linear：线性回归

reg:logistic：逻辑回归

binary:logistic：二元分类的逻辑回归，输出 概率

所以我猜：

reg:linear: 正如我们所说，(y - y_pred)^2

reg:logistic 是 -(y*log(y_pred) + (y-1)*(log(1-y_pred))) 并以 0.5 阈值四舍五入预测

binary:logistic 是普通的-(y*log(y_pred) + (1-y)*(log(1-y_pred)))（返回概率）

您可以对其进行测试，看看它是否按照我编辑的方式运行。如果是这样，我会更新答案，否则，我会删除它：

Answer 2

1. 是的，损失函数和评估指标有两个不同的用途。模型使用损失函数来学习输入和输出之间的关系。评估指标用于评估学习关系的好坏。以下是模型评估讨论的链接：https://scikit-learn.org/stable/modules/model_evaluation.html
2. 我不确定您在这里问的是什么。你能澄清一下这个问题吗？