【发布时间】:2018-12-21 13:07:48
【问题描述】:
我想在长度为 40k 的向量上运行单个函数(即使用 DescTools 库的 calculating the Gini coefficient)。
set.seed(42)
my_vec = sample(1:100000, 40000, replace = T)
#the function to get the Gini with confidence interval
DescTools::Gini(my_vec, conf.level = 0.99)
计算置信区间(只计算没有置信区间的 Gini 系数)会在我的机器(64 位 R 版本,8 GB RAM)上导致一些内存问题并返回
Error: vector memory exhausted (limit reached?)
为了解决这个问题,我研究了以下选项:
- 增加 R 的可用内存,但在 Mac 上没有找到相应的选项(
memory.limit()似乎只适用于 Windows) - 使用
parallelR 库并行运行函数
我正在与后者作斗争,因为该函数不需要对多列进行任何迭代。所以我不希望并行化工作:
mclapply(my_vec, function(x) Gini(x, unbiased = T, conf.level = 0.99), mc.cores = 3) #does not work
有没有办法避免内存问题,如果并行化是一种解决方案,我该如何为一个向量实现它?非常感谢!
【问题讨论】:
-
我想主要的内存使用来自于存储用于置信区间计算的引导样本。您可以尝试通过设置
R = 100(默认为R = 1000)来减少引导样本的数量;这是否足够是另一个问题。
标签: r