Foreach 结合输出 - 特定向量

Question

我刚刚开始使用foreach 和parallel，在合并每次迭代的输出时遇到了一些挑战。

目前，在每次迭代中，我都会输出一组变量，我想将它们组合成一个向量，这样我就可以获得所有迭代的一些汇总统计信息。 一个例子：

foreach (s = 1:num) %dopar%{
var1 = ...
var2 = ...
var3 = ...}

最终我想要 3 个向量，其中包含每次迭代产生的输出，所以： var1 = c(var1 来自 s=1, var1 来自 s=2, var1 来自 s=3, ...)

我查看了 .combine 选项并尝试创建一个可以追加的函数，但没有成功。

Answer 1

foreach...%dopar% 之后的{} 的行为类似于函数，即无论您是否明确指定，它都会返回一个值。它通常不指定，但通过指定你可以返回任何你喜欢的值

foreach(I=1:3) %dopar% { <complicated stuff> 
                         return(1) }

# [[1]]
# [1] 1

# [[2]]
# [1] 1

# [[3]]
# [1] 1

在你的情况下，你想返回 3 个向量，不幸的是这是不可能的

library(foreach)
library(doParallel)
cl <- makeCluster(detectCores())
registerDoParallel(cl)

foreach(I=1:8) %dopar% { v1 <- "ant"
                 v2 <- "pant"
                 return(v1, v2) }

这会导致以下错误

Error in { : task 1 failed - "multi-argument returns are not permitted"

但是你可以列出你的向量，然后返回值

foreach(I=1:8, .combine=rbind) %dopar% {  v1 <- "ant"
                                          v2 <- "pant"
                                          return(list(v1, v2)) }

         # [,1]  [,2]  
# result.1 "ant" "pant"
# result.2 "ant" "pant"
# result.3 "ant" "pant"
# result.4 "ant" "pant"
# result.5 "ant" "pant"
# result.6 "ant" "pant"
# result.7 "ant" "pant"
# result.8 "ant" "pant"

stopCluster(cl)

Answer 2

使用future 的解决方案：
doFuture 是future 的foreach 包装器，我更喜欢它而不是parallel。
这里我们创建data.frameres，你可以使用res$vector1访问向量

library(doFuture)
registerDoFuture()
plan(multiprocess)

Nlength <- 1000
Nvector <- 3

res <- foreach(i = 1:Nvector, .combine = cbind) %dopar% {
    1:Nlength / pi * rnorm(1)
}
res <- data.frame(res)
colnames(res) <- paste0("vector", 1:Nvector)

dim(res)
[1] 1000    3