【问题标题】:How to force idle workers to take jobs in parallel R?如何强制空闲的工人在并行 R 中工作?
【发布时间】:2016-01-04 03:09:06
【问题描述】:

我是在这里发帖的新手——我进行了搜索,但找不到我的问题的答案。我在两台不同的机器上使用parallel 包运行了以下R 并行化代码(来自R 中并行计算的blog),但得到的处理时间结果却大不相同。第一台机器是联想笔记本电脑,配备 Windows 8、8GB RAM、Intel i7、2 核/4 个逻辑处理器。第二台机器是戴尔台式机、Windows 7、16GB RAM、Intel i7、4 核/8 个逻辑处理器。代码有时在第二台机器上运行得慢得多。我相信原因是第二台机器没有使用工作节点来完成任务。当我使用 snow 包中的函数 snow.time() 来检查节点使用情况时,第一台机器正在使用所有可用的工作人员来完成任务。然而,在更强大的机器上,它从不使用工人——整个任务由主人处理。为什么第一台机器使用工人,但第二台机器的代码不完全相同?我如何“强制”第二台机器使用可用的工作程序,以便代码真正并行化并加快处理时间?这些问题的答案将极大地帮助我完成我正在做的其他工作。提前致谢。来自函数snow.time() 的图表以及我使用的代码如下:

runs <- 1e7
manyruns <- function(n) mean(unlist(lapply(X=1:(runs/4), FUN=onerun)))

library(parallel)
cores <- 4
cl <- makeCluster(cores)

# Send function to workers
tobeignored <- clusterEvalQ(cl, {
    onerun <- function(.){ # Function of no arguments
        doors <- 1:3
        prize.door <- sample(doors, size=1)
        choice <- sample(doors, size=1)
        if (choice==prize.door) return(0) else return(1) # Always switch
    }
    ; NULL
})

# Send runs to the workers
tobeignored <- clusterEvalQ(cl, {runs <- 1e7; NULL})
runtime <- snow.time(avg <- mean(unlist(clusterApply(cl=cl, x=rep(runs, 4), fun=manyruns))))
stopCluster(cl)

plot(runtime)

【问题讨论】:

  • 你能检查你的任务管理器,看看工人在做什么吗?我稍微修改了代码,看起来他们都很忙(虽然在 linux 上)。
  • 任务管理器按预期显示 4 个 R 会话,每个会话的 CPU 级别为 13。但是 snow.time() 继续显示只有主服务器用于处理,桌面时间(229 秒)比笔记本电脑(使用所有 4 个内核的 5.3 秒)长得多。我应该在任务管理器中寻找其他东西吗?
  • 现在只有手机。 .. a) 明确集群类型(mpi、socket)。我在 Linux 上的 fork 集群中看到了这种行为。 b) 简化代码,去掉clusterEval,只保留makeCluster 和parLapply。 c) 重启 R。
  • @OttToomet,尝试了你的建议,但他们没有解决——我仍然有同样的问题。此外,原始代码在笔记本电脑上可以很好地并行运行,所以为什么它不能在台式机上运行仍然是个谜。也许在 Greg Snow 看来,这与 R 的版本有关。接下来将对此进行调查。
  • 先尝试使用 Revolution Analytics 的 R 发行版。 13% 的 CPU 非常 很糟糕,但典型的 vanilla R 不能使用 SIMD CPU 命令。另一方面,RRO 使用英特尔的数学库来利用 SIMD 命令(例如,每个滴答处理 4 个浮点数而不是 1 个)和多个内核。在 i7(带 HT 的四核)CPU 上,当在大型矩阵上运行 svd 时,我看到了 7 倍的改进。这比尝试并行运行 4 个进程更好。

标签: r multithreading parallel-processing


【解决方案1】:

尝试clusterApplyLB 而不是clusterApply。 “LB”用于负载平衡。

非 LB 版本在节点之间划分任务数量并分批发送,但如果一个节点提前完成,则它处于空闲状态等待其他节点。

LB 版本向每个节点发送一个任务,然后监视节点,当一个节点完成时,它会向该节点发送另一个任务,直到所有任务都分配完毕。如果每个任务的时间差异很大,则效率会更高,但如果所有任务都需要大约相同的时间,则效率会降低。

还要检查 R 和并行的版本。如果我没记错的话,clusterApply 函数过去不能在 Windows 机器上并行执行(但我不再看到那个注释,所以这可能在最近的版本中得到了纠正),所以差异可能是不同的版本的并行包。 parLapply 函数没有同样的问题,所以你可以重写你的代码来使用它,看看是否会有所不同。

【讨论】:

  • 我尝试使用 cluserApplyLB 以及 parLapply 和 parLapplyLB。我遇到了同样的问题,所以它没有解决这个问题。
  • @KUZ,你检查你的 R 版本和并行包了吗?
  • 是的:笔记本电脑具有适用于 64 位计算机的 R 3.1.1。桌面具有适用于 6 位计算机的 R 3.1.3。在两台机器上,我都使用 R 附带的 parallel 包。
  • @KUZ,因此未使用所有内核的机器具有较新版本的 R。这与我的解释是更改包的理论相反。我能想到的唯一另一件事是操作系统正在做一些与 R 交互不同的事情。
  • 由于每个集群工作人员只执行一次manyruns,因此 clusterApply 和 clusterApplyLB 是等价的,因为负载平衡只有在每个工作人员被安排一个任务后才会发挥作用。
【解决方案2】:

我认为不可能使用 snow 包中的 snow.timing 函数同时从并行包中获取所有其他函数。 R 3.2.3 中的并行源有一些用于计时的占位符代码,但它似乎既不完整也不兼容雪中的snow.timing 函数。我想你仍然会从clusterApply 得到正确的结果,但是snow.time 返回的对象将相当于执行:

runtime <- snow.time(Sys.sleep(20))

如果你想使用snow.timing,我建议只加载雪,尽管你仍然可以使用parallel::detectCores()语法访问detectCores等函数。

我真的不知道为什么您的脚本偶尔会在您的桌面计算机上运行缓慢,但我认为您将其并行化的方式是合理且正确的。您可能想尝试在两台机器上按顺序对manyruns 进行基准测试,以排除两个系统上随机数生成代码的任何差异。但问题可能是由某个系统服务导致整个系统变慢所致。

【讨论】:

  • 感谢您的回答。这确实是问题所在。当我只加载snow 并运行代码时,我从两台计算机上的图表中得到了预期的输出,显示所有工作人员都在忙于代码。
【解决方案3】:

我无法将代码放入 cmets... 我不太了解您的程序。您正在创建什么样的集群?试试这个,将 2e6 调整为适合你的:

library(parallel)
library(Rmpi)
library(snow)
cl <- makeMPIcluster(3)
t <- system.time(parLapply(cl, 1:100, function(i) mean(rnorm(2e6))))
stopCluster(cl)
print(t)

对我来说,它运行了 10 秒(2 核/超线程/5 年旧笔记本电脑/linux),所有 4 名工作人员都 100% 忙碌。您也可以尝试使用套接字集群。

【讨论】:

  • 由于某种原因,我无法在两台计算机上加载“Rmpi”,因此无法尝试您的解决方案。我收到错误消息“错误:'Rmpi' 的 loadNamespace() 中的 .onLoad 失败,详细信息:调用:inDL(x, as.logical(local), as.logical(now), ...) 错误:无法加载共享对象'C:/Users/kukanwaz/Documents/R/win-library/3.1/Rmpi/libs/x64/Rmpi.dll': LoadLibrary failure: The specified module could not be found. Error: package or namespace load failed对于“Rmpi”。我需要稍后解决一个单独的问题...
  • 好像你没有安装openMPI。但是如果你用 makePSOCKcluster 替换 makeMPIcluster 并删除库 Rmpi​​ 和 snow 会发生什么?
猜你喜欢
  • 2021-02-15
  • 1970-01-01
  • 2021-08-17
  • 1970-01-01
  • 2020-12-20
  • 1970-01-01
  • 1970-01-01
  • 2013-02-14
  • 1970-01-01
相关资源
最近更新 更多