从同一个样本中获取不同的测试和训练集

Question

我有一些数据想要比较几个不同的线性模型。我可以使用caTools::sample.split() 获得一个训练/测试集。

如果我使用来自同一样本的不同训练/测试集，我想看看模型会如何变化。如果我不使用set.seed()，我应该在每次调用sample.split 时得到不同的集合。

我现在正在使用lapply 调用该函数一定次数：

library(data.table)
library(caTools)
dat <- as.data.table(iris)
dat_list <- lapply(1:20, function(z) {
  sample_indices <- sample.split(dat$Sepal.Length, SplitRatio = 3/4)
  inter <- dat
  inter$typ <- "test"
  inter$typ[sample_indices] <- "train"
  inter$set_no <- z
  return(as.data.table(inter))})

为了比较系数：

coefs <- sapply(1:20, function(z){
  m <- lm(Sepal.Length ~ Sepal.Width, data = dat_list[[z]][typ == "train"])
  return(unname(m$coefficients))
})

在预测测试集中的值时，可以编辑最后几行以返回 RMS 误差 (typ=="test")。

我想知道是否有更好的方法来做到这一点？

Answer 1

我对有效拆分数据感兴趣（我的实际数据集非常大）

我是数据框列表的忠实拥护者，但在列表中复制数据是没有意义的 - 特别是如果它是大数据，您不需要 20 个数据副本就可以进行 20 次训练-测试拆分。

相反，只需存储训练集和测试集的索引，并为模型提供适当的子集。

n = 5
train_ind = replicate(n = n, sample(nrow(iris), size = 0.75 * nrow(iris)), simplify = FALSE)
test_ind = lapply(train_ind, function(x) setdiff(1:nrow(iris), x))

# then modify your loop to subset the right rows
coefs <- sapply(seq_len(n), function(z) {
  m <- lm(Sepal.Length ~ Sepal.Width, data = iris[train_ind[[z]], ])
  return(m$coefficients)
})

参数化多次使用的任何内容也很好。如果您想更改为 20 个重复，请设置您的代码，以便在顶部更改 n = 20，并且不必在每次使用 5 将其更改为 20 时都进行整个查找。将split_ratio = 0.75 拉出并放在顶部的自己的行中可能会很好，即使它只使用过一次。