R完全占用虚拟内存

Question

我多次重写我的程序以不达到任何内存限制。它再次占用了完整的 VIRT，这对我来说没有任何意义。我不保存任何对象。每次完成计算后，我都会写入磁盘。

代码（简化）看起来像

 lapply(foNames, # these are just folder names like ["~/datastes/xyz","~/datastes/xyy"]
        function(foName){
     Filepath <- paste(foName,"somefile,rds",sep="")
     CleanDataObject <- readRDS(Filepath) # reads the data

     cl <- makeCluster(CONF$CORES2USE) # spins up a cluster (it does not matter if I use the cluster or not. The problem is intependent imho)

     mclapply(c(1:noOfDataSets2Generate),function(x,CleanDataObject){
                                            bootstrapper(CleanDataObject)
                                         },CleanDataObject)
     stopCluster(cl)
 })

bootstrap 函数只是简单地对数据进行采样并将采样的数据保存到磁盘。

bootstrapper <- function(CleanDataObject){

   newCPADataObject <- sample(CleanDataObject)
   newCPADataObject$sha1 <- digest::sha1(newCPADataObject, algo="sha1")

   saveRDS(newCPADataObject, paste(newCPADataObject$sha1 ,".rds", sep = "") )

   return(newCPADataObject)
}

我不明白它现在如何累积到超过 60 GB 的 RAM。代码被高度简化，但恕我直言，没有其他可能有问题的地方。如果需要，我可以粘贴更多代码详细信息。

R 是如何设法连续吃掉我的内存的，即使我已经重写了将生成的对象存储在磁盘上的软件？

Answer 1

我过去曾遇到过这个循环问题。在功能上寻址和应用都比较复杂。

但是，我所做的是结合使用两件事来解决问题。

在每个生成临时文件的函数中，使用rm(file-name) 删除临时文件，然后运行gc()，这会在退出函数之前强制进行垃圾回收。这会减慢一些过程，但会减少内存压力。这样，apply 的每次迭代都会在继续下一步之前清除。您可能必须返回嵌套函数中的第一个函数才能很好地完成此任务。需要进行实验才能确定系统的备份位置。

如果您使用从构建于 rJava 的包中调用的任何方法，我发现这尤其必要，这非常浪费资源，并且 R 无法在 Java 堆上运行垃圾收集，并且大多数 Java 包的作者都没有似乎在他们的方法中考虑了收集的需要。