使用 R 并行加速引导程序

Question

我想加快我的引导功能，它本身工作得很好。我读到自 R 2.14 以来有一个名为 parallel 的包，但我发现它对某人来说非常困难。计算机科学知识很少，无法真正实现它。也许有人可以帮忙。

所以这里我们有一个引导程序：

n<-1000
boot<-1000
x<-rnorm(n,0,1)
y<-rnorm(n,1+2*x,2)
data<-data.frame(x,y)
boot_b<-numeric()
for(i in 1:boot){
  bootstrap_data<-data[sample(nrow(data),nrow(data),replace=T),]
  boot_b[i]<-lm(y~x,bootstrap_data)$coef[2]
  print(paste('Run',i,sep=" "))
}

目标是使用并行处理/利用我 PC 的多个内核。我在 Windows 下运行 R。谢谢！

编辑（诺亚回复后）

以下语法可用于测试：

library(foreach)
library(parallel)
library(doParallel)
registerDoParallel(cores=detectCores(all.tests=TRUE))
n<-1000
boot<-1000
x<-rnorm(n,0,1)
y<-rnorm(n,1+2*x,2)
data<-data.frame(x,y)
start1<-Sys.time()
boot_b <- foreach(i=1:boot, .combine=c) %dopar% {
  bootstrap_data<-data[sample(nrow(data),nrow(data),replace=T),]
  unname(lm(y~x,bootstrap_data)$coef[2])
}
end1<-Sys.time()
boot_b<-numeric()
start2<-Sys.time()
for(i in 1:boot){
  bootstrap_data<-data[sample(nrow(data),nrow(data),replace=T),]
  boot_b[i]<-lm(y~x,bootstrap_data)$coef[2]
}
end2<-Sys.time()
start1-end1
start2-end2
as.numeric(start1-end1)/as.numeric(start2-end2)

但是，在我的机器上，简单的 R 代码更快。这是并行处理的已知副作用之一吗，即它会导致分叉进程的开销，从而增加像这样的“简单任务”中的时间？

编辑：在我的机器上，parallel 代码比“简单”代码耗时大约 5 倍。这个因素显然不会随着我增加任务的复杂性而改变（例如增加boot 或n）。所以也许代码或我的机器有问题（基于 Windows 的处理？）。

Answer 1

这是一个古老的问题，但我认为使用data.table 可以提高其中的很多效率。在使用更大的数据集之前，不会真正注意到这些好处。把这个答案放在这里是为了帮助其他可能需要引导更大数据集的人

library(data.table)
setDT(data) # convert data.frame to data.table by reference
system.time({
  b <- rbindlist(
    lapply(
      1:boot,
      function(i) {
        data.table(
          # store the statistic
          'statistic' = lm(y ~ x, data=data[sample(.N, .N, replace = T)])$coef[[2]],
          # store the iteration
          'iteration' = i
        )
      }
    )
  )
})
# 1.66 seconds on my system
ggplot(b) + geom_density(aes(x = statistic))

然后您可以通过使用parallel 包进一步提高性能。

library(parallel)
cl <- makeCluster(detectCores())            # use all cores on machine, can change this

clusterExport(                              # give it the variables it needs #nolint
  cl,
  c(
    "data"
  ),
  envir = environment()
)
clusterEvalQ(                               # give it libraries needed #nolint
  cl,
  c(
    library(data.table)
  )
)

system.time({
  b <- rbindlist(
    parLapply(              # this is changed to be in parallel
      cl,                   # give it the cluster you created earlier
      1:boot,
      function(i) {
        data.table(
          'statistic' = lm(y ~ x, data=data[sample(.N, .N, replace = T)])$coef[[2]],
          'iteration' = i
        )
      }
    )
  )
})

stopCluster(cl)
# .47 seconds on my machine

Answer 2

我认为主要问题是你有很多小任务。在某些情况下，您可以通过使用 task chunking 来提高性能，这会导致 master 和 worker 之间的数据传输更少但更大，这通常更有效：

boot_b <- foreach(b=idiv(boot, chunks=getDoParWorkers()), .combine='c') %dopar% {
  sapply(1:b, function(i) {
    bdata <- data[sample(nrow(data), nrow(data), replace=T),]
    lm(y~x, bdata)$coef[[2]]
  })
}

我喜欢为此使用idiv 函数，但如果您愿意，也可以使用b=rep(boot/detectCores(),detectCores())。

Answer 3

我没有在 Windows 上使用parallel 后端测试foreach，但我相信这对你有用：

library(foreach)
library(doSNOW)

cl <- makeCluster(c("localhost","localhost"), type = "SOCK")
registerDoSNOW(cl=cl)

n<-1000
boot<-1000
x<-rnorm(n,0,1)
y<-rnorm(n,1+2*x,2)
data<-data.frame(x,y)
boot_b <- foreach(i=1:boot, .combine=c) %dopar% {
  bootstrap_data<-data[sample(nrow(data),nrow(data),replace=T),]
  unname(lm(y~x,bootstrap_data)$coef[2])
}

Answer 4

试试boot 包。它经过了很好的优化，并包含一个parallel 参数。这个包的棘手之处在于你必须编写新函数来计算你的统计数据，它接受你正在处理的数据和一个索引向量来重新采样数据。因此，从您定义data 的位置开始，您可以执行以下操作：

# Define a function to resample the data set from a vector of indices
# and return the slope
slopeFun <- function(df, i) {
  #df must be a data frame.
  #i is the vector of row indices that boot will pass
  xResamp <- df[i, ]
  slope <- lm(y ~ x, data=xResamp)$coef[2] 
} 

# Then carry out the resampling
b <- boot(data, slopeFun, R=1000, parallel="multicore")

b$t 是重采样统计量的向量，boot 有很多很好的方法可以轻松处理它 - 例如plot(b)

请注意，并行方法取决于您的平台。在您的 Windows 机器上，您需要使用 parallel="snow"。