估算缺失的观察值

Question

我正在分析一个包含超过 450k 行的数据集，由于无响应和其他随机因素，我正在查看的其中一列 (pa1min_) 中大约 100k 行具有 NA 值。本专栏以分钟为单位处理锻炼时间。

我认为用平均值或中位数填充NA 值是没有意义的，因为它几乎占数据的四分之一并且可能产生偏差。我想用线性回归来估算缺失的观察结果。但是，我收到一条错误消息：

Error: vector memory exhausted (limit reached?)
In addition: There were 50 or more warnings (use warnings() to see the first 50)

这是我的代码：

# imputing using multiple imputation deterministic regression
imp_model <- mice(brfss2013, method="norm.predict", m=1)
# store data
data_imp <- complete(imp_model)
# multiple imputation
imp_model <- mice(brfss2013, m=5)
# building predictive mode
fit <- with(data=imp_model, lm(y ~ x + z))
# combining results
combined <- pool(fit)

这是数据的链接（压缩） Data

注意：我真的只想为一列填充 impute...数据框中的其他列是字符、整数和因子的混合，有些超过 2 个级别。

Answer 1

与MrFlick 提到的类似，您的 RAM 有点短。

尝试在 1% 的数据上运行该算法，如果成功，您应该尝试检查 bigmemory 包以进行磁盘计算。

我还鼓励您检查您在数据上拟合的模型在没有贝叶斯插补的情况下是否真的很好，因为尝试拥有完美数据这一事实不会比仅仅插补均值更有益/median/first/last 数据的值。

希望这会有所帮助。