【问题标题】:Memory exhaustion for single vector function R单向量函数 R 的内存耗尽
【发布时间】:2018-12-21 13:07:48
【问题描述】:

我想在长度为 40k 的向量上运行单个函数(即使用 DescTools 库的 calculating the Gini coefficient)。

set.seed(42)
my_vec = sample(1:100000, 40000, replace = T)

#the function to get the Gini with confidence interval
DescTools::Gini(my_vec, conf.level = 0.99)

计算置信区间(只计算没有置信区间的 Gini 系数)会在我的机器(64 位 R 版本,8 GB RAM)上导致一些内存问题并返回

Error: vector memory exhausted (limit reached?)

为了解决这个问题,我研究了以下选项:

  • 增加 R 的可用内存,但在 Mac 上没有找到相应的选项(memory.limit() 似乎只适用于 Windows)
  • 使用parallel R 库并行运行函数

我正在与后者作斗争,因为该函数不需要对多列进行任何迭代。所以我不希望并行化工作:

mclapply(my_vec, function(x) Gini(x, unbiased = T, conf.level = 0.99), mc.cores = 3) #does not work

有没有办法避免内存问题,如果并行化是一种解决方案,我该如何为一个向量实现它?非常感谢!

【问题讨论】:

  • 我想主要的内存使用来自于存储用于置信区间计算的引导样本。您可以尝试通过设置R = 100(默认为R = 1000)来减少引导样本的数量;这是否足够是另一个问题。

标签: r


【解决方案1】:

您有一个Lorenz curve and the Gini index in RevoScaleR 的实现,它允许您按块获取计算,而不管向量的大小。

set.seed(42)
my_vec = data.frame(V1 = sample(1:100000, 40000, replace = T))

# Compute Lorenz
lorenzOut <- rxLorenz(orderVarName = "V1", data = my_vec)

# Compute the Gini Coefficient
giniCoef <- rxGini(lorenzOut)
giniCoef
0.335597

CI:

boot <- replicate(1000, rxGini(rxLorenz(orderVarName = "V1", 
                                data = my_vec[sample.int(nrow(my_vec), nrow(my_vec), replace = TRUE), , drop = FALSE], reportProgress = 0)))

summary(boot)
   Min. 1st Qu.  Median    Mean 3rd Qu.    Max. 
 0.3315  0.3347  0.3356  0.3356  0.3364  0.3396 

quantile(boot, probs = c(0.005, 0.995))
     0.5%     99.5% 
0.3324822 0.3389219 

【讨论】:

  • 我很好奇:rxGini 也可以计算基于引导程序的 CI 吗?
  • 不是直接的,但它允许您轻松编程。 DescTools :: Gini 的问题在于它通过溢出返回 NA,即使您按块进行引导,您也无法通过大数据获得所需的结果。
  • 非常感谢。我不知道 RevoScaleR 包。一个更简单的解决方法甚至是您通过replicate(...) 使用自己的引导的解决方案。不过可能不适用于更庞大的数据集 - 我同意。
猜你喜欢
  • 2019-09-29
  • 1970-01-01
  • 2018-12-17
  • 2019-12-28
  • 2013-07-13
  • 2018-12-07
  • 1970-01-01
  • 2019-07-10
  • 1970-01-01
相关资源
最近更新 更多