R在HPC MPIcluster上运行foreach dopar循环

Question

我可以访问带有 MPI 分区的 HPC 集群。

我的问题是 - 无论我尝试什么 - 我的代码（在我的 PC 上运行良好）都无法在 HPC 集群上运行。代码如下所示：

图书馆(tm) 图书馆(qdap) 图书馆（雪） 图书馆（doSNOW） 库（foreach）

> cl<- makeCluster(30, type="MPI")
> registerDoSNOW(cl)
> np<-getDoParWorkers()
> np
> Base = "./Files1a/"
> files = list.files(path=Base,pattern="\\.txt");
> 
> for(i in 1:length(files)){
...some definitions and variable generation...
+ text<-foreach(k = 1:10, .combine='c') %do%{
+   text= if (file.exists(paste("./Files", k, "a/", files[i], sep=""))) paste(tolower(readLines(paste("./Files", k, "a/", files[i], sep=""))) , collapse=" ") else ""
+ }
+ 
+ docs <- Corpus(VectorSource(text))
+ 
+ for (k in 1:10){
+ ID[k] <- paste(files[i], k, sep="_")
+ }
+ data <- as.data.frame(docs) 
+ data[["docs"]]=ID
+ rm(docs)
+ data <- sentSplit(data, "text")
+ 
+ frequency=NULL
+ cs <- ceiling(length(POLKEY$x) / getDoParWorkers()) 
+ opt <- list(chunkSize=cs) 
+ frequency<-foreach(j = 2: length(POLKEY$x), .options.mpi=opt, .combine='cbind') %dopar% ...
+ write.csv(frequency, file =paste("./Result/output", i, ".csv", sep=""))
+ rm(data, frequency)
+ }

当我运行批处理作业时，会话在时间限制内被终止。而我在 MPI 集群初始化后收到以下消息：

Loading required namespace: Rmpi
--------------------------------------------------------------------------
PMI2 initialized but returned bad values for size and rank.
This is symptomatic of either a failure to use the
"--mpi=pmi2" flag in SLURM, or a borked PMI2 installation.
If running under SLURM, try adding "-mpi=pmi2" to your
srun command line. If that doesn't work, or if you are
not running under SLURM, try removing or renaming the
pmi2.h header file so PMI2 support will not automatically
be built, reconfigure and build OMPI, and then try again
with only PMI1 support enabled.
--------------------------------------------------------------------------
--------------------------------------------------------------------------
An MPI process has executed an operation involving a call to the
"fork()" system call to create a child process.  Open MPI is currently
operating in a condition that could result in memory corruption or
other system errors; your MPI job may hang, crash, or produce silent
data corruption.  The use of fork() (or system() or other calls that
create child processes) is strongly discouraged.  

The process that invoked fork was:

  Local host:         ...
  MPI_COMM_WORLD rank: 0

If you are *absolutely sure* that your application will successfully
and correctly survive a call to fork(), you may disable this warning
by setting the mpi_warn_on_fork MCA parameter to 0.
--------------------------------------------------------------------------
    30 slaves are spawned successfully. 0 failed.

不幸的是，循环似乎没有通过一次，因为没有返回任何输出。

为了完整起见，我的批处理文件：

#!/bin/bash -l
#SBATCH --job-name MyR
#SBATCH --output MyR-%j.out
#SBATCH --nodes=5
#SBATCH --ntasks-per-node=6
#SBATCH --mem=24gb
#SBATCH --time=00:30:00

MyRProgram="$HOME/R/hpc_test2.R"

cd $HOME/R

export R_LIBS_USER=$HOME/R/Libs2

# start R with my R program
module load R

time R --vanilla -f $MyRProgram

有没有人建议如何解决这个问题？我做错了什么？

提前感谢您的帮助！

Answer 1

您的脚本是一个 MPI 应用程序，因此您需要通过 Slurm 适当地执行它。 Open MPI 常见问题解答有一个关于如何做到这一点的特殊部分：

https://www.open-mpi.org/faq/?category=slurm

最重要的一点是你的脚本不应该直接执行 R，而应该通过 mpirun 命令执行它，使用类似的东西：

mpirun -np 1 R --vanilla -f $MyRProgram

我的猜测是“PMI2”错误是由于没有通过 mpirun 执行 R 引起的。我不认为“fork”消息表明存在真正的问题，而且它有时会发生在我身上。我认为这是因为 R 在初始化时调用了“fork”，但这对我来说从来没有造成问题。我不知道为什么我只是偶尔收到此消息。

请注意，告诉 mpirun 只启动一个进程非常重要，因为其他进程将被派生，因此您应该使用 mpirun -np 1 选项。如果 Open MPI 是在 Slurm 支持下正确构建的，那么 Open MPI 应该知道在生成这些进程时在哪里启动它们，但是如果您不使用 -np 1，那么通过 mpirun 启动的所有 30 个进程将分别生成 30 个进程，导致一团糟。

最后，我认为您应该告诉makeCluster 只生成 29 个进程以避免运行总共 31 个 MPI 进程。根据您的网络配置，即使是超额订阅也可能导致问题。

我会按如下方式创建集群对象：

library(snow)
library(Rmpi)
cl<- makeCluster(mpi.universe.size() - 1, type="MPI")

这样更安全，更容易让您的 R 脚本和作业脚本彼此同步。