如何对数据集进行分层，使用 Caret 进行统计分析并在 r 中重复？

Question

我有一个数据集，我想对样本进行分层，使用 caret 包创建统计模型，然后生成预测。

我发现的问题是，在分层数据集的不同迭代中，我得到了显着不同的结果（这可能部分是由于数据样本相对较小 M=1000）。

我想做的是：

1. 生成分层数据样本
2. 创建机器学习模型
3. 重复1000 次并取平均模型输出

我希望通过对分层数据集的变化重复这些步骤，我能够避免由于数据样本较小而产生的预测的细微变化。

例如，它在 r 中可能看起来像这样；

Original.Dataset = data.frame(A)

Stratified.Dataset = stratified(Original.Dataset, group = x)

Model = train(Stratified.Dataset.....other model inputs)

Repeat process with new stratified data set based on the original data and average out.

提前感谢您提供的任何帮助或可能有用的打包建议。是否可以在插入符号中对样本进行分层或在插入符号中进行模拟？

Answer 1

首先，欢迎来到 SO。

很难理解你到底想知道什么，你的问题非常广泛。

如果您需要有关统计数据的信息，我建议您在 Cross Validated. 中提出更明确的问题 对统计、机器学习、数据分析、数据挖掘和数据可视化感兴趣的人的问答。

我发现的问题是，在不同的迭代中 分层数据集我得到明显不同的结果（这可能是 部分原因是数据样本相对较小 M=1000)。

我假设您指的是模型的不同迭代。这取决于您的不同组有多大。例如。如果您尝试将包含 1000 个样本的数据集划分为 10 个样本组，则您的模型很可能不稳定，因此在每次迭代中给出不同的结果。这也可能是因为您的模型依赖于一些随机性，并且您的数据较小（以及更多组）您将有较大变化。 See here 或 here 了解有关交叉验证、稳定性和引导聚合的更多信息。

1. 生成分层数据样本

如何生成它：dplyr 包非常适合根据不同的变量对数据进行分组。您可能还想使用base 包中的split 函数。 See here for more information。您还可以使用 caret 包中的内置方法 found here。

如何知道如何拆分它：这在很大程度上取决于您想回答的问题，很可能您想平衡一些变量，例如用于创建预测疾病模型的性别和年龄。 See here for more info.

如果有例如重复的观察结果，并且您想要创建具有不同重复组合的独特子集，并且您必须使用其他方法的独特测量。如果复制品有一个共同的标识符，这里是sample_names。您可以执行以下操作来选择所有样本，但具有不同的重复组合：

tg <- data.frame(sample_names = rep(1:5,each=2))
set.seed(10)
tg$values<-rnorm(10)

partition <- lapply(1:100, function(z) {
  set.seed(z)
  sapply(unique(tg$sample_names), function(x) {
    which(x == tg$sample_names)[sample(1:2, 1)]
  })
})

#the first partition of your data to train a model.
tg[partition[[1]],]

1. 创建机器学习模型

如果你想使用caret，你可以去caret webpage。并查看所有可用的模型。根据您的研究问题和/或数据，您希望使用不同类型的模型。因此，我建议您参加一些在线机器学习课程，例如Stanford University course given by Andrew Ng（我自己学习过），以更加熟悉不同的主要算法。如果您熟悉算法，只需搜索可用的模型。

1. 重复 1000 次并取平均模型输出

您可以使用不同的种子（请参阅set.seed）和不同的训练方法（例如交叉验证或引导聚合。 caret 包中有很多不同的训练参数：

函数trainControl 生成进一步控制的参数 如何创建模型，以及可能的值：

method: 重采样方法: "boot", "cv", "LOOCV", "LGOCV", “repeatedcv”、“timeslice”、“none”和“oob”

有关方法的更多信息，see here。