块中的并行进程没有性能优势

Question

我有一个非常大的列表 (huge_list)。为列表的每个值调用一个函数 (inner_fun)。 Inner_fun 大约需要 0.5 秒。inner_fun 的输出是一个大小为 3 的简单数字向量。我正在尝试并行化这种方法。看了很多文章都提到，并行功能很快的时候最好分块。所以我根据核心来划分它。但是没有时间优势。我无法理解这里的概念。任何人都可以对此提供一些见解。我主要担心的是，如果我对代码做错了什么。我没有在这里发布确切的代码。但我试图尽可能多地复制

观察很少：

1. dummy_fun 和 dummy_fun2 大约需要 10 小时，并行保持为 11
2. 没有并行，这大约需要 20 小时。
3. parallel=2，15 小时内完成
4. 我使用的是 12 核，60 GB RAM，ubuntu 机器

制作集群的代码

no_of_clusters<-detectCores()-1
cl <- makeCluster(no_of_clusters) ; registerDoParallel(cl) ; 
clusterExport(cl, varlist=c("arg1","arg2","inner_fun"))

没有块的函数

dummy_fun<-function(arg1,arg2,huge_list){
  g <- foreach (i = 1: length(huge_list),.combine=rbind,
                .multicombine=TRUE) %dopar% {
                    inner_fun(i,arg1,arg2,huge_list[i])
                }
    return(g)
}

**带有块的函数**

dummy_fun2<-function(arg1,arg2,huge_list){
  il<-1:length(huge_list)
  il2<-split(il, ceiling(seq_along(il)/(length(il)/(detectCores()-1))))
  g <- foreach ( i= il2 , .combine=rbind,.multicombine=TRUE) %dopar% {
  ab1<-lapply(i,function(li) 
           { 
            inner_fun(i,arg1,arg2,huge_list(i))
           }
          )
   do.call(rbind,ab1)
}
   return(g)
}

Answer 1

你弄错了块。这不是将索引划分为长度为no_of_clusters 的块，而是将它们划分为no_of_clusters 块。

试试这个：

dummy_fun2 <- function(arg1, arg2, huge_list, inner_fun, ncores) {

  cl <- parallel::makeCluster(ncores)
  doParallel::registerDoParallel(cl)
  on.exit(parallel::stopCluster(cl), add = TRUE)

  L <- length(huge_list)
  inds <- split(seq_len(L), sort(rep_len(seq_len(NCORES), L)))

  foreach(l = seq_along(inds), .combine = rbind) %dopar% {
    ab1 <- lapply(inds[[l]], function(i) {
      inner_fun(i, arg1, arg2, huge_list[i])
    })
    do.call(rbind, ab1)
  }
}

补充说明：

1. 使用计算机上一半以上的内核通常是没有用的。

2. .multicombine 选项自动与rbind 一起使用。但是.maxcombine 真的很重要（需要超过 100 个）。在这里，我们使用lapply 作为顺序部分，所以这句话无关紧要。

3. 使用foreach的时候多导出也没用，已经从dummy_fun2的环境中导出了需要的东西。

4. 您确定要使用huge_list[i]（获取一个元素的列表）而不是huge_list[[i]]（获取列表的第i个元素）吗？