验证测试数据的准确性

Question

我已将我的模型与我的训练数据进行了拟合，并使用 r 平方测试了模型的准确性。

但是，我想用我的测试数据来测试模型的准确性，该怎么做呢？

我的预测值是连续的。对此非常陌生，因此愿意接受建议。

LR_swim <- lm(racetime_mins ~ event_month +gender + place +
             clocktime_mins +handicap_mins +
              Wind_Speed_knots+ 
             Air_Temp_Celsius +Water_Temp_Celsius +Wave_Height_m,
               data = SwimmingTrain) 
           family=gaussian(link = "identity")
summary(LR_swim)
rsq(LR_swim) #Returns-  0.9722331

#Predict Race_Time Using Test Data
 pred_LR <- predict(LR_swim, SwimmingTest, type ="response")
#Add predicted Race_Times back into the test dataset.
SwimmingTest$Pred_RaceTime <- pred_LR

Answer 1

首先，正如 cmets 中已经指出的那样，accuracy 这个术语实际上是为分类问题保留的。您实际上指的是模型的性能。事实上，对于回归问题（比如你的问题），有几个这样的性能指标可用。

无论好坏，R^2 仍然是几个实现中的标准度量；尽管如此，记住我所争论的elsewhere 可能会有所帮助：

整个 R-squared 概念实际上直接来自统计领域，重点是解释性模型，它在机器学习环境中几乎没有用处，重点显然是预测模型；至少 AFAIK，除了一些非常入门的课程之外，我从来没有（我的意思是 从来没有 ...）看到 R 平方用于任何类型的性能评估的预测建模问题；流行的机器学习介绍，例如 Andrew Ng 在 Coursera 的Machine Learning，甚至懒得提及它也不是偶然的。而且，正如上面Github thread 中所述（强调添加）：

特别是在使用 test 集时，我有点不清楚 R^2 的含义。

我当然同意。

还有其他几种性能指标可以说更适合预测任务，比如你的；并且它们中的大多数都可以用一行简单的 R 代码来实现。所以，对于一些虚拟数据：

preds <- c(1.0, 2.0, 9.5)
actuals <- c(0.9, 2.1, 10.0)

mean squared error (MSE) 很简单

mean((preds-actuals)^2)
# [1] 0.09

而 mean absolute error (MAE) 是

mean(abs(preds-actuals))
# [1] 0.2333333

root mean squared error (RMSE) 只是 MSE 的平方根，即：

sqrt(mean((preds-actuals)^2))
# [1] 0.3

可以说，这些措施对于评估未见数据的性能更有用。最后两个具有与原始数据相同规模的额外优势（MSE 不是这种情况）。