我正在使用 R 对两种不同的预测模型进行一些评估。评估的基本思想是使用 cor.() 的函数比较 Pearson 相关性及其对应的 p 值。下图显示了相关系数及其 p 值的最终结果。
我们建议具有较低相关系数和相应较低 p 值（小于 0,05）的模型更好（或者，较高相关系数但具有相当高的相应 p 值）。 所以，在这种情况下，总的来说，我们会说模型 1 比模型 2 好。 但这里的问题是，有没有其他具体的统计方法可以量化比较？
非常感谢！！！
【问题讨论】：
标签： r correlation p-value
假设您使用的是时间序列数据，因为您调用了“预测”。我认为您真正要寻找的是对预测模型的回测。从 Ruey S. Tsay 的“An Introduction to Analysis of Financial Data with R”中，您可能想看看他的 backtest.R 函数。
backtest(m1,rt,orig,h,xre=NULL,fixed=NULL,inc.mean=TRUE)
# m1: is a time-series model object
# orig: is the starting forecast origin
# rt: the time series
# xre: the independent variables
# h: forecast horizon
# fixed: parameter constriant
# inc.mean: flag for constant term of the model.
回测可让您查看模型在过去数据上的表现如何，Tsay 的回测.R 提供 RMSE 和平均绝对误差，这将为您提供相关性之外的另一个视角。 注意根据您的数据大小和模型的复杂性，这可能是一个非常缓慢的运行测试。
为了比较模型，您通常会查看 RMSE，它本质上是模型误差的标准差。这两个是直接可比的，越小越好。
更好的选择是在构建模型之前设置训练、测试和验证集。如果您在相同的训练/测试数据上训练两个模型，您可以将它们与您的验证集（您的模型从未见过）进行比较，以更准确地衡量模型的性能指标。
最后一种选择是，如果您有与不准确预测相关的“成本”，请将这些成本应用于您的预测并将它们相加。如果一个模型在更昂贵的数据段上表现不佳，您可能希望避免使用它。
作为旁注，您对 p 值的解释为越少越好，还有一点[期望]quite right。
P 值只解决一个问题：假设一个真实的零假设，您的数据的可能性有多大？它不衡量对备择假设的支持度。
【讨论】：