glmnet 与分组数据的交叉验证

Question

我正在使用 glmnet 获取网络数据。通常，数据是分类的（因子的高基数）并且具有数百万个样本。我正在处理“大数据”并希望内存效率。

因为它是分类的，所以可以通过分组和传递每组的成功和失败次数来更有效地表示数据：例​​如 'male','30-35' ：30 次成功，50 次失败

我面临的问题是交叉验证...通过分组我不能只对我的数据集进行分区（称为 X 原始分组数据集）。我想要的是能够传入原始分组数据自变量，然后将“折叠的结果”分区：例如，30 个成功 50 个失败将被分成 10 个#success，#failure 对（复制什么会如果我对原始未分组的数据进行交叉验证，就会发生这种情况。有没有以这种方式运行 cv.glmnet？复制所有数据 k 次（具有不同的成功失败值）的替代方案显然内存效率较低。

假设我有 2 个组和 2 个折叠：

male','30-35' : 30 成功，50 失败

female','30-35' : 50 次成功，30 次失败

那么我想要的是

X = 

    [[male','30-35'] 

    [female','30-35']]

y = 

[[20,30], [10,20],

[[25,30], [25, 0] ]

所以 X 变量包含 n 个组。 y 因变量然后有 n 行，并且有 2 列（每列包含一个成功失败的元组） - 每列代表一个折叠。现在我并不是说我追求这个特定的数据结构，只是对于分组数据，我不想创建一个 kN 行 X_fold 矩阵和相应的具有 kN 行的 y_fold 矩阵。

即X_fold =

[['male','30-35',...] 

['female','30-35',...]

['male','30-35',...] 

['female','30-35',...]
]

和 y_fold =

[[20,30], ,
[25,30], 
[10,20]
[25, 0] ]

关键是X有很多行和列，当独立数据相同时我不想复制它，只有成功和失败的数量会发生变化（允许折叠为0成功和0失败的某些行)

我假设如果不修改源代码就无法做到这一点，但我想再次检查没有其他人遇到过这个问题。

Answer 1

您提到了交叉验证，但这并不是真正的问题。您想要的是，当您的所有变量都是分类变量时，将您的数据集总结为一个因子列联表，并使模型适合响应和不响应的计数。这是逻辑回归中相当知名的技术。它既适用于拟合基础模型，也适用于交叉验证。

要看看它是如何工作的，让我们生成一个示例数据集（100 万行）：

set.seed(12345)
df <- data.frame(
    x1 = factor(sample(10, 1e6, TRUE)),
    x2 = factor(sample(20, 1e6, TRUE)),
    x3 = factor(sample(5, 1e6, TRUE)),
    x4 = factor(sample(15, 1e6, TRUE)),
    y = rbinom(1e6, 1, 0.1))

现在将其折叠为列联表（15000 个单元格/行）：

library(dplyr)
dfsmry <- df %>%
    group_by(x1, x2, x3, x4) %>%
    summarise(y = sum(y), ny = n() - y)

现在拟合弹性网络模型。当对汇总数据进行逻辑回归拟合时，响应是一个 2 列矩阵，其中包含每个单元格中的总失败次数和成功次数。

# to make life easier: see https://github.com/hong-revo/glmnetUtils
library(glmnetUtils)

# base model
mod <- glmnet(cbind(ny, y) ~ x1 + x2 + x3 + x4, data = dfsmry, family = "binomial")

# do crossvalidation
cvmod <- cv.glmnet(cbind(ny, y) ~ x1 + x2 + x3 + x4, data = dfsmry, family = "binomial")