平均绝对比例误差作为插补性能指标答案

【问题标题】：Mean Absolute Scaled Error as imputation performance metric平均绝对比例误差作为插补性能指标
【发布时间】：2020-12-12 15:23:35
【问题描述】：

为了通过交叉验证评估不同的插补方法，我正在寻找合适的准确度度量。我的交叉验证样本由 100 个等长的单变量时间序列（建筑物的能量测量）组成，我正在按照 R 中的随机缺失方法模拟缺失的数据。目标是找到总体上最准确地估算的方法模拟的缺失数据。

很明显，虽然 MAE/MAPE/RMSE 应用广泛，但并不适合作为绩效衡量标准。我的数据包括（接近）0 个度量（因此 MAPE 没有用），并且由于对 100 个不同尺度时间序列的样本进行交叉验证，RMSE 和 MAE 由于它们的尺度依赖性而不能使用（参见@ 987654321@)。在同一篇论文中，提出了平均绝对尺度误差 (MASE) 作为替代方案。

我的问题是：MASE 被提议作为一种预测措施。也可以申请归集吗？如果是这样，如何在 R 中计算 benchmark naïve MAE？从这个意义上说，训练数据是什么？

当前的想法是在完整时间序列数据在模拟缺失数据之前为每个时间序列计算基准初始 MAE。这样合适吗？

【问题讨论】：

标签： r imputation

【解决方案1】：

如果不了解有关数据的更多信息，很难说。选择正确的性能衡量标准是针对您的数据集的。

正如您已经说过的，MAE、MAPE、RMSE、SMAPE 对于某些类型的数据都有其缺点。但同样适用于 MASE。

有时甚至是选择最不差的指标。

我必须承认，直到现在我都避免实际使用 MASE。对我来说，这似乎有点复杂，而且很多人（甚至在统计领域）从未听说过它。但确实如此，MASE 具有一些有利的特性，而 MASE、RMSE、...

听起来您的时间序列可能具有季节性。在这种情况下，您必须将 MASE 用于季节性时间序列。这也意味着使用季节性的幼稚预测。

我的问题是：MASE 被提议作为一种预测措施。也可以申请归集吗？

您当然需要一些修改，但我想是的。但我也认为很难向其他人快速解释你的指标。

如果是这样，如何在 R 中计算基准初始 MAE？

我想您可以使用 locf（最后一次观察结转）或任何其他幼稚的插补/预测方法，例如移动平均线

但是一些一般性问题：虽然 MASE 是独立于规模的，但在您的不同时间序列中，结果确实具有可比性……我的意思是，根据居住者的行为，它们的行为可能会有很大不同。有些可能有季节性，有些则没有。

使用例如单独评估每个时间序列怎么样？ MAE - 或者如果由于系列中的趋势而不是一个好的选择 - WMAPE（它可以缓解 0 的问题）并在之后进行基于排名的整体比较。

【讨论】：

非常感谢您的回答，我一定会研究您建议的替代方案！我的数据确实具有很高的季节性（至少每天、每周和每年）。因此，您关于使用 LOCF 作为幼稚基准的建议似乎与您之前要求进行季节性幼稚预测的声明略有矛盾，对吧？
是的，在季节性的情况下你是对的，你最好使用季节性的幼稚基准。也许是季节性分裂的 LOCF。您按期间拆分并分别为每个期间执行 LOCF。 imputeTS 包中的 na_seasplit(x, algorithm = "locf") 可以做到这一点，但你必须选择最重要的季节性，因为它不能做多个季节性。