在 HPC slurm 中并行化 bash 脚本答案

【问题标题】：Parallelize bash script in HPC slurm在 HPC slurm 中并行化 bash 脚本
【发布时间】：2021-06-27 08:57:02
【问题描述】：

我有一个这样的文件：

bash scripts/1-Call_HC.sh Uni_Mont_1_3 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_1_3.e 2> logs/HC_Uni_Mont_1_3.o
bash scripts/1-Call_HC.sh Uni_Mont_27_1 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_27_1.e 2> logs/HC_Uni_Mont_27_1.o
bash scripts/1-Call_HC.sh Uni_Mont_27_2 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_27_2.e 2> logs/HC_Uni_Mont_27_2.o
bash scripts/1-Call_HC.sh Uni_Mont_29_1 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_29_1.e 2> logs/HC_Uni_Mont_29_1.o
bash scripts/1-Call_HC.sh Uni_Mont_29_3 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_29_3.e 2> logs/HC_Uni_Mont_29_3.o
bash scripts/1-Call_HC.sh Uni_Mont_30_1 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_30_1.e 2> logs/HC_Uni_Mont_30_1.o
bash scripts/1-Call_HC.sh Uni_Mont_30_2 /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_30_2.e 2> logs/HC_Uni_Mont_30_2.o

在普通机器上，我将使用nohup parallel -j 3 < file.sh 来并行执行。我想使用服务器队列在带有 Slurm 的 HPC 服务器上做同样的事情。我怎样才能做到这一点？非常感谢，丹妮丝

【问题讨论】：

标签： bash parallel-processing hpc slurm

【解决方案1】：

job array 应该在这里完成工作。

这样写一个提交脚本：

#! /bin/bash
#SBATCH --ntask=1
#SBATCH --cpus-per-task=...
#SBATCH --mem-per-cpu=...
#SBATCH --array=0-6

OPTIONS=(1_3 27_1 27_2 29_1 29_3 30_1 30_2)
CURROPT=${OPTIONS[$SLURM_ARRAY_TASK_ID]}

bash scripts/1-Call_HC.sh Uni_Mont_$CURROPT /home/db/fagiolo/config_fagiolo_Pvulgaris.sh > logs/HC_Uni_Mont_$CURROPT.e 2> logs/HC_Uni_Mont_$CURROPT.o

并使用sbatch 提交。这将创建 6 个独立的作业，这些作业将并行安排。

【讨论】：

我正在做，但总是相同的样本开始
我已经用 CURROPT=${OPTIONS[$SLURM_ARRAY_TASK_ID]} 改变了 CURROPT=${OPTIONS[$SLURM_ARRAY_JOBID]} 并且它有效！谢谢
@DeniseLavezzari 确实，谢谢，已更正。