Parallel 包中大对象的 ClusterExport

Question

我有一个 6.5Gb 的数据表。我想用ParLapply 在一个循环中做一些并行计算（例如运行回归）。目前，当我在并行包中尝试clusterExport 时，它需要很长时间（我从未见过它完成导出它）。

我有 16 个内核和 64Gb 的 RAM。正常吗？如何加快大数据表的导出速度？

num_cores = (detectCores(all.tests = FALSE, logical = TRUE) - 2)
workers <- parallel::makePSOCKcluster(num_cores, useXDR=F)
for(pck_name in required.pck){ 
  clusterExport(workers, c("pck_name"), envir = environment())
  clusterEvalQ(workers, library(pck_name, character.only=TRUE))
}

# Bit that freezes up 
clusterExport(workers, varlist = c("big_data_table"), envir 
= environment()) 

Answer 1

与其导出内存中的对象，不如考虑将其保存到磁盘（使用save 或saveRDS），然后将其加载到工作进程中。

另请注意，无论您采用哪种方式，最终都会在每个工作进程中获得一个单独的 6.5GB 对象。具有 16 个内核 x2 用于超线程（您与 detectCores(logical=TRUE) 一起使用），即 32 - 2 = 30 个进程。所以你实际上没有足够的内存来存储所有这些数据表。