使用doSNOW写入全局变量并在R中进行并行化？

Question

在多核上使用doSNOW包访问/写入全局变量是否有问题？

在下面的程序中，每个 MyCalculations(ii) 写入矩阵“globalVariable”的第 ii 列...

你认为结果会正确吗？会有隐藏的陷阱吗？

非常感谢！

附言我必须写出全局变量，因为这是一个简单的示例，实际上我有很多输出需要从并行循环中传输……因此，可能唯一的方法是写出全局变量。 ..

library(doSNOW)
MaxSearchSpace=44*5
globalVariable=matrix(0, 10000, MaxSearchSpace)
cl<-makeCluster(7)
registerDoSNOW(cl)
foreach (ii = 2:nMaxSearchSpace, .combine=cbind, .verbose=F) %dopar%
  {
   MyCalculations(ii)
  }

stopCluster(cl)

附言我在问 - 在 DoSnow 框架内，是否存在访问/写入全局变量的危险...... thx

Answer 1

由于这个问题是几个月前的问题，我希望您现在已经找到了答案。但是，如果您仍然对反馈感兴趣，可以考虑以下几点：

将foreach 与并行后端一起使用时，您将无法以您尝试的方式分配给 R 的全局环境中的变量（您可能已经注意到这一点）。使用 sequential 后端，分配将起作用，但不能像 doSNOW 那样使用 parallel。

相反，将每次迭代的所有计算结果保存在一个列表中并将其返回给一个对象，以便在所有计算完成后提取适当的结果。

我的建议与您的示例类似：

library(doSNOW)
MaxSearchSpace <- 44*5
cl <- makeCluster(parallel::detectCores())

# do not create the globalVariable object

registerDoSNOW(cl)

# Save the results of the `foreach` iterations as 
# lists of lists in an object (`theRes`)

theRes <- foreach (ii = 2:MaxSearchSpace, .verbose=F) %dopar%
  {
# do some calculations
   theNorms <- rnorm(10000)
   thePois <- rpois(10000, 2)
# store the results in a list
   list(theNorms, thePois)
  }

在所有迭代完成后，从theRes 中提取结果并将它们存储为对象（例如，globalVariable、globalVariable2 等）

globalVariable1 <- do.call(cbind, lapply(theRes, "[[", 1))
globalVariable2 <- do.call(cbind, lapply(theRes, "[[", 2))

考虑到这一点，如果您在每次迭代中执行的计算都依赖于先前迭代的计算结果，那么这种类型的并行计算不适合采用。