嵌套循环的并行化答案

【问题标题】：Paralleization for nested loops嵌套循环的并行化
【发布时间】：2014-03-04 21:00:45
【问题描述】：

提前致谢。

我有一个三个嵌套的 for 循环，其中最低的一个包含条件 if 语句评估。

代码运行成功，尽管使用 1 个 foreach 循环和 2 个嵌套 for 循环非常缓慢。对于我的“真实”数据，我可以在大约 16 小时内运行 ~ 1000 x 2000 x 160 次迭代。我想将其缩放到 ~ 10000 x 2000 x 160，这将需要很长时间才能运行（>100 小时）。理想情况下，我想将嵌套的 for 循环转换为 apply 循环，因为我知道它们运行得更快。我构建的示例代码如下：

library("foreach") 
library("doMC") 
registerDoMC()

R = 10
N = 5
M = 10

data_matrix <- matrix(data=runif(50,N,M),ncol=10)

cos_function<- function(x,y){
  res<-runif(1,3,5)
  res<-res + (3/x) + (4/y)
  return(res)
}


results<-foreach(k=1:R,combine=rbind) %dopar% {
  dummy<-matrix(0, N, M)
    for (i in 1:N) {
      for (j in 1:M) {
        if (cos_function(i, j)  <= data_matrix[i,j]) {
          dummy[i,j] = 1
              }
        }
  return(dummy)
}

我在想出加快这个过程的方法时遇到了很多麻烦：即包括嵌套循环的并行化、切换到嵌套应用函数、将嵌套循环组合成一个应用循环。您可能会说，我对 R 和并行化非常陌生，因此任何指导都会非常有帮助。

【问题讨论】：

如果您将此问题扩展到 10000 x 2000 x 160，您将遇到一些严重的内存挑战。我什至不确定是否可以在 R 中创建这么大的矩阵，即使您的计算机中有足够的内存。

标签： r foreach parallel-processing apply

【解决方案1】：

我知道你的数据只是玩具数据，这个答案没有回答你原来的问题，但是你考虑过优化你的矩阵计算吗？

以下代码在我的笔记本电脑上运行大约需要 90 秒（而不是 16 小时）：

R <- 160
N <- 1000
M <- 2000

## construct your data_matrix and replicate it R-times to get the same size
## like the cosmatrix
data_matrix <- matrix(data=rep(runif(N*M, N, M), R), byrow=TRUE, ncol=M)

## construct whole cosmatrix (inclusive replications R)
cosmatrix <- matrix(data=runif(N*M*R, 3, 5), ncol=M)

## perform your cos_fun
cosmatrix <- t(t(cosmatrix+3/(1:N)) + 4/(1:M))

## comparison
cosmatrix <= data_matrix

【讨论】：

嗨@sgibb，感谢您的回答。很抱歉，我没有指定顶级循环（R = 1000 或 10,000）必须是顶级循环，因为该函数基本上将数据洗牌 R 次。另外我应该提到，玩具数据的运行时间可能会比 16 小时快得多 :)
@ben 好的，但是最后两行（cosmatrix <- t(t(cosmatrix+3/(1:N)) + 4/(1:M)) 和cosmatrix <= data_matrix）可以避免您的内部循环（只需在矩阵创建过程中删除R）。

【解决方案2】：

我对并行化不是很熟悉，但也许改变以下会更快

dat<- matrix(data=runif(50,N,M),ncol=10)
#defining a new version of cos which takes a matrix
new_cos<-function(m) (3/m$i) + (4/m$j)
#create a data.frame ij which holds i and j combinations as each row.
ij<-expand.grid(i=seq(N),j=seq(M))
#now use this for your res. This will return a vector, where res[1] is the result of i=1 and j=1,
#res[2] is the result of i=2, j=1.
res<-runif(M*N,3,5)+new_cos(ij)
##now this will compare as appropriate, since the comparisons will be done column-wise along dat
##multiply booleans by 1 to get your 1/0 matrix
1*(res<=dat)

【讨论】：