未来的解决方案

Question

我正在处理一个大型数据集，我用它来进行某些计算。由于它是一个庞大的数据集，我正在使用的机器完成这项工作的时间过长，因此我决定使用 future 包来在多台机器之间分配工作并加快计算速度。 所以，我的问题是，通过未来（使用 putty 和 ssh）我可以连接到那些机器（并行），但工作本身正在做主要的工作，没有任何分发。也许您可以提出一些解决方案：

• 如何让它在所有机器上工作；
• 还有，如何检查进程是否正常工作（我的意思是某些功能或任何有助于验证这些功能的功能，如果存在的话）。

我的代码：

library(future)
workers <- c("000.000.0.000", "111.111.1.111")
plan(remote, envir = parent.frame(), workers= workers, myip = "222.222.2.22")
start <- proc.time()
cl <- makeClusterPSOCK(
 c("000.000.0.000", "111.111.1.111"), user = "...", 
rshcmd = c("plink", "-ssh", "-pw",  "..."),  
rshopts = c("-i", "V:\\vbulavina\\privatekey.ppk"),
homogeneous = FALSE))
setwd("V:/vbulavina/r/inversion")
a <- source("fun.r")
f <- future({source("pasos.r")})
l <- future({source("pasos2.R")})
time_elapsed_parallel <- proc.time() - start
time_elapsed_parallel

f 和 l 对象应该并行完成，但主机正在完成所有工作，所以如果我能做一些关于它的事情，我有点困惑。

PS：我尝试了plan() 和remote, multiprocess, multisession, cluster，但什么也没有。

PS2：我的本地机器是 Windows，并尝试连接到 Kubuntu 和 Debian（所有这些机器都关闭了防火墙）。

提前谢谢。

Answer 1

future 的作者在这里。首先，确保您可以设置 PSOCK 集群，即通过 SSH 连接到两个 worker 并在它们上运行 Rscript。你这样做：

library(future)
workers <- c("000.000.0.000", "111.111.1.111")
cl <- makeClusterPSOCK(workers, user = "...",
                       rshcmd = c("plink", "-ssh", "-pw",  "..."),
                       rshopts = c("-i", "V:/vbulavina/privatekey.ppk"),
                       homogeneous = FALSE)
print(cl)
### socket cluster with 2 nodes on hosts '000.000.0.000', '111.111.1.111'

（如果上述makeClusterPSOCK() 停止运行或不起作用，请添加参数verbose = TRUE 以获取更多信息 - 请随时在此处报告。）

接下来，在 PSOCK 集群设置后，告诉未来的系统并行处理这两个工作线程：

plan(cluster, workers = cl)

测试期货实际上是远程解决的，例如

f <- future(Sys.info()[["nodename"]])
print(value(f))
### [1] "000.000.0.000"

我留下了剩下的部分，这也需要调整，现在让我们确保先让工作人员启动并运行。

继续，在并行处理中使用source() 会使事情变得复杂，尤其是在不同机器上进行并行化时。例如，在另一台机器上调用source("my_file.R") 要求文件my_file.R 在该机器上也可用。即使是这样，当涉及到需要导出到外部机器的变量的自动识别时，它也会使事情变得复杂。更安全的方法是将所有代码合并到主脚本中。说了这么多，你可以尝试替换：

f <- future({source("pasos.r")})
l <- future({source("pasos2.R")})

与

futureSource <- function(file, envir = parent.frame(), ...) {
  expr <- parse(file)
  future(expr, substitute = FALSE, envir = envir, ...)
}

f <- futureSource("pasos.r")
l <- futureSource("pasos2.R")

只要pasos.r 和pasos2.R 不在内部调用source()，这个c/应该可以工作。

顺便说一句，您使用的是哪个版本的 Windows？因为使用最新的 Windows 10，您已经内置了对 SSH 的支持，您不再需要使用 PuTTY。

2018 年 7 月 31 日更新：继续回答有关在期货中使用 source() 的问题。