Scala和Spark中多类分类的自定义损失函数答案

【问题标题】：Custom loss function for Multiclass claasification in Scala and SparkScala和Spark中多类分类的自定义损失函数
【发布时间】：2019-07-27 12:10:50
【问题描述】：

我想问是否可以使用 Scala 为 Spark 中的多类分类编写自定义损失函数。我想在 Scala 中编码multi-class logarithmic loss。我搜索了 Spark 文档，但没有得到任何提示。

【问题讨论】：

【解决方案1】：

来自Spark 2.2.0 MLlib guide：

目前，仅支持二元分类。当支持多类分类时，这可能会发生变化。

【讨论】：

【解决方案2】：

如果您不限于特定的分类技术，我建议您使用 XGBoost。它具有与 Spark 兼容的实现，并且可以使用任何损失函数，只要您可以计算两次导数。

你可以找到教程here。

关于为什么可以使用自定义损失函数的解释也可以在here找到。

【讨论】：