使用自定义 summaryFunction 进行性能测试

Question

我正在使用插入符号中的自定义 summaryFunction 调整参数。

我原本以为如果我设置K折交叉验证，输入数据有N个点，性能会用N/K个数据点来衡量。

但是，显然这似乎不正确，因为当我使用 browser() 提取 data$pred 时，它是传递给汇总函数的数据，它只有 10 个数据。 由于输入（df）有超过 500 个数据点，这个数字比我预期的要小。

为什么它只有 10 个数据？有什么办法可以增加这个吗？（=使用更多大数据点进行性能测试）

需要任何帮助。谢谢。

sigma.list <- seq(1, 5, 1)
c.list <- seq(1, 10, 1)
met <- "FValue"

#define evaluation function
eval <- function(data, lev = NULL, model = NULL){
  mat <- table(data$pred, data$obs)
  pre <- mat[1,1]/sum(mat[1,]) #precision
  rec <- mat[1,1]/sum(mat[,1]) #recall
  res <- c("Precision"=pre, "Recall"=rec, "FValue"=2*pre*rec/(pre+rec))
  browser()
  res
}
#define train control
tc <-  trainControl(method = "cv",
                    number = 5,
                    summaryFunction = eval,
                    classProbs = TRUE,
                    )

#tune with caret
svm.tune <- train(Flag~.,
                   data = df,
                   method = "svmRadial",
                   tuneGrid = expand.grid(C=c.list, sigma=sigma.list),
                   trControl = tc,
                   metric = met
                   )

Answer 1

跟踪此问题后，这似乎是正常的caret 行为。

我认为caret 本质上是通过向它传递假数据（长度为 10）来验证您的 summaryFunction 是否正常工作。 caret 内部的函数是 evalSummaryFunction。

我不太确定我在 RStudio 的调试器中在做什么，但 train.default 中的这段代码：

  testSummary <- evalSummaryFunction(y, wts = weights, 
    ctrl = trControl, lev = classLevels, metric = metric, 
    method = method)
  perfNames <- names(testSummary)

调用evalSummaryFunction，看起来像：

function (y, wts = NULL, perf = NULL, ctrl, lev, metric, method) 
{
  n <- if (class(y)[1] == "Surv") 
    nrow(y)
  else length(y)
  if (class(y)[1] != "Surv") {
    if (is.factor(y)) {
      values <- rep_len(levels(y), min(10, n))
      pred_samp <- factor(sample(values), levels = lev)
      obs_samp <- factor(sample(values), levels = lev)
    }
    else {
      pred_samp <- sample(y, min(10, n))
      obs_samp <- sample(y, min(10, n))
    }
  }
  else {
    pred_samp <- y[sample(1:n, min(10, n)), "time"]
    obs_samp <- y[sample(1:n, min(10, n)), ]
  }
  testOutput <- data.frame(pred = pred_samp, obs = obs_samp)
  if (!is.null(perf)) {
    if (is.vector(perf)) 
      stop("`perf` should be a data frame", call. = FALSE)
    perf <- perf[sample(1:nrow(perf), nrow(testOutput)), 
      , drop = FALSE]
    testOutput <- cbind(testOutput, perf)
  }
  if (ctrl$classProbs) {
    for (i in seq(along = lev)) testOutput[, lev[i]] <- runif(nrow(testOutput))
    testOutput[, lev] <- t(apply(testOutput[, lev], 1, function(x) x/sum(x)))
  }
  else {
    if (metric == "ROC" & !ctrl$classProbs) 
      stop("train()'s use of ROC codes requires class probabilities. See the classProbs option of trainControl()")
  }
  if (!is.null(wts)) 
    testOutput$weights <- sample(wts, min(10, length(wts)))
  testOutput$rowIndex <- sample(1:n, size = nrow(testOutput))
  ctrl$summaryFunction(testOutput, lev, method)
}

看来 10 是 caret 传递给您的摘要函数以评估它的假数据的长度（确保它正常工作？）。

如果有人可以更好地验证/解释 caret 实际在做什么，请发帖。