doSNOW/foreach 性能问题

Question

我有一个循环，它正在加载大约 5MB 大小的文件，而不是在它们上运行一些计算。我需要加载 500-1000 个。对于 foreach 来说，这似乎是一项轻松的工作。

我正在这样做，但 doSNOW 的性能似乎很可怕。

我发现了这个帖子，这个家伙似乎也遇到了同样的问题：

http://statsadventure.blogspot.com/2012/06/performance-with-foreach-dosnow-and.html

有几个问题。

1. 有没有 doSnow 的替代品？我知道有 doMC，但我正在运行 windows。
2. Linux 上的 doMC 是否比 doSNOW 快得多？
3. 是否有工作人员可以输出到屏幕，这样我至少可以了解我的工作进展如何。

提前谢谢你！

Answer 1

多个线程尝试访问硬盘上的不同文件可能会导致性能非常差。

但是，如果有足够的时间进行计算，负载平衡并行化仍可能带来改进：节点将失去同步，因此硬盘请求将一个接一个地出现，而不是同时出现。

这是snow::clusterApply 与负载平衡snow::clusterApplyLB 的简单示例。我使用雪而不是并行，因为它提供时间和绘图：

library (snow)
system(sprintf('taskset -p 0xffffffff %d', Sys.getpid()))
cl <- makeSOCKcluster (rep ("localhost", 2))

times <- sample (1:6) / 4
times
## [1] 1.50 0.25 0.75 1.00 0.50 1.25

t <- snow.time (l <- clusterApply (cl, times, function (x) Sys.sleep (x)))
plot (t, main = "\n\nclusterApply") 
for (i in 1 : 2)
  points (t$data[[i]][,"send_start"], rep (i, 3), pch = 20, cex = 2)

tlb <- snow.time (l <- clusterApplyLB (cl, times, function (x) Sys.sleep (x)))
plot (tlb, main = "\n\nclusterApplyLB")
for (i in 1 : 2)
  points (tlb$data[[i]][,"send_start"], rep (i, 3), pch = 20, cex = 2)

黑点标志着新函数调用的开始。如果函数从加载文件开始，所有节点总是会尝试用clusterApply同时访问硬盘，因为集群在处理新一轮任务之前会等待所有节点返回结果。使用clusterApplyLB，下一个任务会在节点返回结果后立即分发。即使任务花费基本相同的时间，它们也会很快失去同步，并且文件加载不会完全同时。

（虽然我不知道这是否是实际问题）