PBS 脚本 -o 文件到多个位置

Question

有时当我在 PBS 集群上运行作业时，我真的很喜欢两个地方的作业日志（-o 文件）。 $PBS_O_WORKDIR 中的一个用于将所有东西放在一起，一个${HOME}/jobOuts/ 用于 greping/awking/etc...

使用tee从命令行进行测试：

echo "hello" | qsub -o `tee $HOME/out1.o $HOME/out2.o $HOME/out3.o`

但是一旦我尝试将其放入我的 PBS 脚本中，如果我将其放入 PBS 脚本和 qsub 中，它就不起作用

####Parameterized PBS Script ####
#PBS -S /bin/bash
#PBS -l nodes=1
#PBS -l walltime=0:01:00
#PBS -j oe
#PBS -o `tee TEE_TEST.o TEE_TEST.${PBS_JOBID}.o`
#PBS -M me@email.com
#PBS -m abe
#PBS -V

cd $PBS_O_WORKDIR

echo `date`

这是 qsub 和错误：

qsub  TEST.pbs
qsub: directive error: -o `tee TEE_TEST.o TEE_TEST.${PBS_JOBID}.o`

我在下面尝试了其他一些方法 - 没有任何效果。

一个 -o 行（逗号、分号和空格）：

#PBS -o ${PBS_JOBNAME}.${PBS_JOBID}.o,${HOME}/jobOuts/${PBS_JOBNAME}.${PBS_JOBID}.o
#PBS -o ${PBS_JOBNAME}.${PBS_JOBID}.o,${HOME}/jobOuts/${PBS_JOBNAME}.${PBS_JOBID}.o
#PBS -o ${PBS_JOBNAME}.${PBS_JOBID}.o ${HOME}/jobOuts/${PBS_JOBNAME}.${PBS_JOBID}.o

还有两行：

#PBS -o ${PBS_JOBNAME}.${PBS_JOBID}.o
#PBS -o ${HOME}/jobOuts/${PBS_JOBNAME}.${PBS_JOBID}.o

两个工作班轮只采用第二个 -o 选项，一个班轮不起作用。

有什么建议吗？是否可以？

Answer 1

我很惊讶您的命令行示例有效。你的工作真的运行了吗？我的猜测是运行

echo "hello" | qsub -o `tee $HOME/out1.o $HOME/out2.o $HOME/out3.o`

使运行的工作短路，实际上只是抓住“你好”并将其传递给 tee。我的猜测是，更了解 bash 的人可以解释这里实际发生的事情。

我能想到的唯一方法是让你的脚本写东西来完成你的请求。为了使其工作，您需要将位置放在可从任何可能的计算节点访问的网络文件系统上。

Answer 2

我研究了qsub man page，我认为没有一种方法可以为标准输出和标准错误指定多个输出文件（每个）。从this page 中汲取灵感，这是我实现与您的目标相似的方法。您的 PBS 环境可能会有所不同。另外，我不是 bash 专家，所以可能有更简洁的方法来实现相同的目标。

假设您使用默认的 -o 设置，请在常规作业脚本的末尾放置以下命令：

# change to the directory from which this job was submitted
cd $PBS_O_WORKDIR

# the standard output by default will be in file JOBNAME.oJOBID
# on my system, PBS_JOBID has ".machinename" at the end, which needs to be removed

filename=${PBS_JOBNAME}.o${PBS_JOBID%%.*}

echo "${PBS_O_WORKDIR}/copy.pbs $filename" | qsub

这将使用标准输入参数启动 qsub，告诉它运行带有要复制的文件名参数的“copy.pbs”。我使用的copy.pbs文件是：

#!/bin/bash

# change to the directory from which this job was submitted
cd $PBS_O_WORKDIR

newfile=${HOME}/jobOuts/$1

cp $1 $newfile

这对我来说可以将第一个 PBS 标准输出复制到另一个目录。一个副作用是使用 qsub 运行 copy.pbs 会创建另外两个输出文件，STDIN.e* 和 STDIN.o*。我认为再次使用 qsub 是确保第一份工作完成的好主意。为了更安全，您可以在 qsub 中使用“取决于选项”，例如 "-W depend=afterok:$PBS_JOBID copy.pbs $filename" | qsub。但我没有测试这种方法，就像我说的，我不是这方面的专家。