【问题标题】:Setting cores via mc.cores vs. makePSOCKcluster?通过 mc.cores 与 makePSOCKcluster 设置内核?
【发布时间】:2019-12-24 22:12:13
【问题描述】:

我想知道通过makePSOCKcluster 设置 R 使用的核心数量和在 foreach 循环中明确设置有什么区别?我应该在这两种情况下分别设置,还是在使 makePSOCKcluster 足够时这样做?

cl <- makePSOCKcluster(max(1, detectCores() - 1))
registerDoParallel(cl)

mcoptions <- list(  preschedule=FALSE, mc.cores = max(1,detectCores()-1)  )
stream = foreach(i=1:NROW(stream_sponsored), .inorder=FALSE,
        .combine=rbind,
        .options.multicore=mcoptions)  %dopar% {
#do something
}

【问题讨论】:

  • 对于 foreach,registerDoParallel() 就足够了。

标签: r foreach doparallel


【解决方案1】:

来自 [https://cran.r-project.org/web/packages/doParallel/vignettes/gettingstartedParallel.pdf][1]

'“核心”选项允许您临时覆盖用于单个 foreach 操作的工作人员数量。这比必须重新注册 doParallel 更方便。虽然如果注册 doParallel 时没有指定“cores”值,您也可以使用 options 函数动态更改此值:

options(cores=2)
getDoParWorkers()
options(cores=3)
getDoParWorkers()

如果您在注册 doParallel 时确实指定了核心数,则“核心”选项将被忽略:

registerDoParallel(4)
options(cores=2)
getDoParWorkers()

如您所见,有许多选项可用于控制并行使用的工作器数量,但默认行为通常会满足您的需求。'

所以,简而言之,如果你调用了一次 foreach,那么就不需要在 foreach 中指定核心。但是如果你调用两个或多个具有不同内核的 foreach,则无需在 registerDoParallel 中指定内核

【讨论】:

    猜你喜欢
    • 2018-10-18
    • 2011-12-20
    • 2012-07-21
    • 1970-01-01
    • 2019-08-09
    • 1970-01-01
    • 2014-06-18
    • 2013-06-27
    • 1970-01-01
    相关资源
    最近更新 更多