预测评估指标 - 相对误差答案

【问题标题】：Prediction evaluation metrics - Relative Error预测评估指标 - 相对误差
【发布时间】：2019-04-18 11:57:36
【问题描述】：

我正在使用 SVR 进行预测过程，作为评估指标，我得到相对误差 (RE)= 42.25%，这可以接受吗？注意：我的数据集中有 > 50k 个实例。

谢谢。

【问题讨论】：

这是平均百分比误差，中值百分比误差，百分比误差之和，百分比误差的标准差——也就是42.25%代表什么？
事实上我对评估指标不是很熟悉，我无法区分或解释它们。使用快速矿工，性能运营商给出了几个标准（例如：RMSE、AE、NAE、RE..）如果你能提供帮助，我会得到以下结果：root_mean_squared_error: 55.174 +/- 0.000 absolute_error: 34.705 +/- 42.892 relative_error: 29.31 % +/- 90.71% relative_error_lenient: 20.92% +/- 20.02% relative_error_strict: 42.25% +/- 96.76% normalized_absolute_error: 0.821 root_relative_squared_error: 1.063 squared_error: 3044.205 +/- 5279.004 prediction_average: 121.270 +/-15.84
你用的是什么软件？
我在玩 RapidMiner

【解决方案1】：

一如既往地判断模型的质量：视情况而定。这取决于您的数据、您的目标、您的错误“成本”...

您可以从您的不同指标中看到的主要是，您在整个预测过程中的性能存在巨大差异。因此，如果您考虑 +/-97% 的方差，那么 ~42% 的相对误差是没有意义的。

查看您的绝对误差，您平均会错过目标约 35 个“单位”，但方差为 +/-43。

对我来说，所有这些指标都在尖叫“我们不可靠”，这反过来又指向了一个不合适的模型。

【讨论】：