【问题标题】:How to obtain cross-validated r-square from linear model in R?如何从 R 中的线性模型获得交叉验证的 r 平方?
【发布时间】:2013-04-08 09:53:22
【问题描述】:

我在 R 中有一个线性模型。

set.seed(1234)
x <- rnorm(100)
z <- rnorm(100)
y <- rnorm(100, x+z)
mydata <- data.frame(x,y,z)

fit <- lm(y ~ x + z, mydata)

我想获得样本外 r 平方的估计值。我正在考虑使用某种形式的 k-fold 交叉验证。

  • R 中的哪些代码采用线性模型拟合并返回经过交叉验证的 r-square?
  • 或者是否有其他方法可以使用 R 获得交叉验证的 r-square?

【问题讨论】:

  • 可能跑题了..很好cross-validated.
  • 为什么?它是关于如何用r 语言实现一种统计技术,该语言有近 30,000 个问题。如果您愿意,我可以删除问题的统计元素,只关注 R 实现?
  • @NPE 非常感谢。看起来它会成功。一旦我应用了它,我将发布一个示例,说明它如何应用于上面的示例。
  • @JeromyAnglim:如果你在这个网站上搜索DAAG,你会找到一些相关的问题和答案。

标签: r linear-regression cross-validation


【解决方案1】:

所以接下来是对the example that @NPR linked to from statsmethods 的轻微改编。基本上我修改了这个例子,使它成为一个函数。

library(bootstrap)

k_fold_rsq <- function(lmfit, ngroup=10) {
    # assumes library(bootstrap)
    # adapted from http://www.statmethods.net/stats/regression.html
    mydata <- lmfit$model
    outcome <- names(lmfit$model)[1]
    predictors <- names(lmfit$model)[-1]

    theta.fit <- function(x,y){lsfit(x,y)}
    theta.predict <- function(fit,x){cbind(1,x)%*%fit$coef} 
    X <- as.matrix(mydata[predictors])
    y <- as.matrix(mydata[outcome]) 

    results <- crossval(X,y,theta.fit,theta.predict,ngroup=ngroup)
    raw_rsq <- cor(y, lmfit$fitted.values)**2 # raw R2 
    cv_rsq <- cor(y,results$cv.fit)**2 # cross-validated R2

    c(raw_rsq=raw_rsq, cv_rsq=cv_rsq)
}

所以使用之前的数据

# sample data
set.seed(1234)
x <- rnorm(100)
z <- rnorm(100)
y <- rnorm(100, x+z)
mydata <- data.frame(x,y,z)

我们可以拟合一个线性模型并调用交叉验证函数:

# fit and call function
lmfit <- lm(y ~ x + z, mydata)
k_fold_rsq(lmfit, ngroup=30)

并获得生成的原始和交叉验证的 r-square:

  raw_rsq    cv_rsq 
0.7237907 0.7050297

警告:虽然raw_rsq 显然是正确的并且cv_rsq 在我所期望的范围内,但请注意我还没有检查crosval 函数的确切作用。因此,使用风险自负,如果有人有任何反馈,我们将非常欢迎。它也仅适用于具有截距和标准主效应符号的线性模型。

【讨论】:

  • 这个函数对带有因子预测变量的模型无效。示例:fit = lm("Sepal.Length ~ Species", data = iris); k_fold_rsq(fit)Error in lsfit(x, y) : NA/NaN/Inf in 'x' In addition: Warning message: In lsfit(x, y) : NAs introduced by coercion
  • 我不知道如何通过交互来实现这一点
【解决方案2】:

我为此编写了一个函数。它也适用于名义预测变量。它仅适用于 lm 对象(我认为),但可以轻松扩展到 glm 等。

# from
# http://stackoverflow.com/a/16030020/3980197
# via http://www.statmethods.net/stats/regression.html

#' Calculate k fold cross validated r2
#'
#' Using k fold cross-validation, estimate the true r2 in a new sample. This is better than using adjusted r2 values.
#' @param lmfit (an lm fit) An lm fit object.
#' @param folds (whole number scalar) The number of folds to use (default 10).
#' @export
#' @examples
#' fit = lm("Petal.Length ~ Sepal.Length", data = iris)
#' MOD_k_fold_r2(fit)
MOD_k_fold_r2 = function(lmfit, folds = 10, runs = 100, seed = 1) {
  library(magrittr)

  #get data
  data = lmfit$model

  #seed
  if (!is.na(seed)) set.seed(seed)

  v_runs = sapply(1:runs, FUN = function(run) {
    #Randomly shuffle the data
    data2 = data[sample(nrow(data)), ]

    #Create n equally size folds
    folds_idx <- cut(seq(1, nrow(data2)), breaks = folds, labels = FALSE)

    #Perform n fold cross validation
    sapply(1:folds, function(i) {
      #Segement your data by fold using the which() function

      test_idx = which(folds_idx==i, arr.ind=TRUE)
      test_data = data2[test_idx, ]
      train_data = data2[-test_idx, ]

      #weights
      if ("(weights)" %in% data) {
        wtds = train_data[["(weights)"]]
      } else {
        train_data$.weights = rep(1, nrow(train_data))
      }

      #fit
      fit = lm(formula = lmfit$call$formula, data = train_data, weights = .weights)

      #predict
      preds = predict(fit, newdata = test_data)

      #correlate to get r2
      cor(preds, test_data[[1]], use = "p")^2
    }) %>%
      mean()
  })

  #return
  c("raw_r2" = summary(lmfit)$r.squared, "cv_r2" = mean(v_runs))
}

测试它:

fit = lm("Petal.Length ~ Species", data = iris)
MOD_k_fold_r2(fit)
#>    raw_r2     cv_r2 
#> 0.9413717 0.9398156 

关于 OP 样本:

> MOD_k_fold_r2(lmfit)
#raw_r2  cv_r2 
# 0.724  0.718 

【讨论】:

    【解决方案3】:

    关于 stats.stackexchange(例如 link 1 和 link 2)的讨论认为应该使用均方误差 (MSE) 而不是 R^2。

    留一法交叉验证(k-folds cv 的特殊情况,其中 k=N)具有允许使用简单公式快速计算线性模型的 CV MSE 的特性。请参阅“R 中的统计学习简介”的第 5.1.2 节。以下代码应计算 lm 模型的 RMSE 值(使用同一部分的公式 5.2):

    sqrt(sum((residuals(fit)/(1-hatvalues(fit)))^2)/length(fit$residuals))
    

    您可以将其与“常规”RMSE 进行比较:

    summary(fit)$sigma 
    

    我想是从 5 倍或 10 倍交叉验证中获得的 RMSE。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-05-06
      • 2021-07-28
      • 2012-01-13
      • 2020-11-28
      • 1970-01-01
      • 2012-12-12
      • 2018-09-12
      • 2017-05-18
      相关资源
      最近更新 更多