Slurm 使用作业数组写入日志文件

Question

使用带有 slurm 的作业数组，我有这个 sbatch 文件，它在不同的输入文件上运行相同的命令 10 次：

File Edit Options Buffers Tools Sh-Script Help                                                                                                
#!/bin/bash                                                                                                                                   
#SBATCH --job-name=test                                                                                                                        
#SBATCH --error jobs/test.%A_%a.error                                                                                                          
#SBATCH --partition=vrt-cpu                                                                                                                
#SBATCH --time=01:00:00                                                                                                                       
#SBATCH --mem=60000                                                                                                                           
#SBATCH --cpus-per-task 4                                                                                                                     
#SBATCH --array=1-10                                                                                                                           
OMP_NUM_THREADS=$SLURM_JOB_CPUS_PER_NODE
export OMP_NUM_THREADS
time srun $(head -n ${SLURM_ARRAY_TASK_ID} jobs/jobarray.input | tail -n 1)

输入文件jobs/jobarray.input包含一系列类似这样的命令：

/home/fwt/CarTest /home/fwt/hummol/params.conf >& /home/fwt/hummol/test.log

我希望日志文件按上述方式编写（使用 ">& test.log"）而不是使用通常的 #SBATCH --output test.%A_%a.out 指令，但它不起作用，即作业正常运行时没有写入日志文件。

奇怪的是，如果在不使用作业数组的情况下运行一个作业，它会正确写入日志文件。

请问有人知道这里有什么问题吗？

非常感谢。

Answer 1

每个作业都写入同一个文件，并使用从截断文件开始的 Bash 重定向来执行此操作。因此，一旦数组中的作业开始，文件就会被清空。您应该附加到日志文件而不是简单的重定向（注意 >>& 而不是 >&）；

/home/fwt/CarTest /home/fwt/hummol/params.conf >>& /home/fwt/hummol/test.log