【发布时间】:2016-01-04 03:09:06
【问题描述】:
我是在这里发帖的新手——我进行了搜索,但找不到我的问题的答案。我在两台不同的机器上使用parallel 包运行了以下R 并行化代码(来自R 中并行计算的blog),但得到的处理时间结果却大不相同。第一台机器是联想笔记本电脑,配备 Windows 8、8GB RAM、Intel i7、2 核/4 个逻辑处理器。第二台机器是戴尔台式机、Windows 7、16GB RAM、Intel i7、4 核/8 个逻辑处理器。代码有时在第二台机器上运行得慢得多。我相信原因是第二台机器没有使用工作节点来完成任务。当我使用 snow 包中的函数 snow.time() 来检查节点使用情况时,第一台机器正在使用所有可用的工作人员来完成任务。然而,在更强大的机器上,它从不使用工人——整个任务由主人处理。为什么第一台机器使用工人,但第二台机器的代码不完全相同?我如何“强制”第二台机器使用可用的工作程序,以便代码真正并行化并加快处理时间?这些问题的答案将极大地帮助我完成我正在做的其他工作。提前致谢。来自函数snow.time() 的图表以及我使用的代码如下:
runs <- 1e7
manyruns <- function(n) mean(unlist(lapply(X=1:(runs/4), FUN=onerun)))
library(parallel)
cores <- 4
cl <- makeCluster(cores)
# Send function to workers
tobeignored <- clusterEvalQ(cl, {
onerun <- function(.){ # Function of no arguments
doors <- 1:3
prize.door <- sample(doors, size=1)
choice <- sample(doors, size=1)
if (choice==prize.door) return(0) else return(1) # Always switch
}
; NULL
})
# Send runs to the workers
tobeignored <- clusterEvalQ(cl, {runs <- 1e7; NULL})
runtime <- snow.time(avg <- mean(unlist(clusterApply(cl=cl, x=rep(runs, 4), fun=manyruns))))
stopCluster(cl)
plot(runtime)
【问题讨论】:
-
你能检查你的任务管理器,看看工人在做什么吗?我稍微修改了代码,看起来他们都很忙(虽然在 linux 上)。
-
任务管理器按预期显示 4 个 R 会话,每个会话的 CPU 级别为 13。但是 snow.time() 继续显示只有主服务器用于处理,桌面时间(229 秒)比笔记本电脑(使用所有 4 个内核的 5.3 秒)长得多。我应该在任务管理器中寻找其他东西吗?
-
现在只有手机。 .. a) 明确集群类型(mpi、socket)。我在 Linux 上的 fork 集群中看到了这种行为。 b) 简化代码,去掉clusterEval,只保留makeCluster 和parLapply。 c) 重启 R。
-
@OttToomet,尝试了你的建议,但他们没有解决——我仍然有同样的问题。此外,原始代码在笔记本电脑上可以很好地并行运行,所以为什么它不能在台式机上运行仍然是个谜。也许在 Greg Snow 看来,这与 R 的版本有关。接下来将对此进行调查。
-
先尝试使用 Revolution Analytics 的 R 发行版。 13% 的 CPU 非常 很糟糕,但典型的 vanilla R 不能使用 SIMD CPU 命令。另一方面,RRO 使用英特尔的数学库来利用 SIMD 命令(例如,每个滴答处理 4 个浮点数而不是 1 个)和多个内核。在 i7(带 HT 的四核)CPU 上,当在大型矩阵上运行
svd时,我看到了 7 倍的改进。这比尝试并行运行 4 个进程更好。
标签: r multithreading parallel-processing