如果管道的左侧失败，则使从 subprocess.Popen 启动的 shell 管道失败

Question

我在 python 中使用 subprocess.popen 运行 bash 命令：

cmd = "bwa-mem2/bwa-mem2 mem -R \'@RG\\tID:2064-01\\tSM:2064-01\\tLB:2064-01\\tPL:ILLUMINA\\tPU:2064-01\' reference_genome/human_g1k_v37.fasta BHYHT7CCXY.RJ-1967-987-02.2_1.fastq BHYHT7CCXY.RJ-1967-987-02.2_2.fastq -t 14 | samtools view -bS -o dna_seq/aligned/2064-01/2064-01.6.bam -"

process = subprocess.Popen(cmd, shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT, text=True)

问题是即使第一个命令失败，我也会得到返回码 0。 我用谷歌搜索并发现了 pipefail ，似乎这是我应该使用的。

但是，我不明白在哪里写。我试过了：

"set -o pipefail && bwa-mem2/bwa-mem2 mem -R \'@RG\\tID:2064-01\\tSM:2064-01\\tLB:2064-01\\tPL:ILLUMINA\\tPU:2064-01\' reference_genome/human_g1k_v37.fasta BHYHT7CCXY.RJ-1967-987-02.2_1.fastq BHYHT7CCXY.RJ-1967-987-02.2_2.fastq -t 14 | samtools view -bS -o dna_seq/aligned/2064-01/2064-01.6.bam -"

给出：/bin/sh: 1: set: Illegal option -o pipefail

有什么想法我应该如何整合它？

编辑：

我不确定在回复答案时编辑我的答案是否正确？评论中没有足够的字符来回复：/

无论如何， 我在没有shell=True@Charles Duffy 的情况下尝试了您的第二种方法。

（cmd_1 和 cmd_2 等于你在解决方案中写的）

这是我使用的代码：

try:
        
   p1 = Popen(shlex.split(cmd_1), stdout=PIPE)
   p2 = Popen(shlex.split(cmd_2), stdin=p1.stdout, stdout=PIPE, stderr=STDOUT, text=True)
   p1.stdout.close()
   output, error = p2.communicate()
   p1.wait()    
    
   rc_1 = p1.poll()
   rc_2 = p2.poll()
   print("rc_1:", rc_1)
   print("rc_2:", rc_2)

   if rc_1 == 0 and rc_2 == 0:
       self.log_to_file("DEBUG", "# Process ended with returncode = 0")
       if text: self.log_to_file("INFO", f"{text} succesfully 
            
   else:
       print("Raise exception")
       raise Exception(f"stdout: {output} stderr: {error}")

except Exception as e:
    print(f"Error: {e} in misc.run_command()")
    self.log_to_file("ERROR", f"# Process ended with returncode != 0, {e}")

这是我通过重命名一个文件故意导致错误时得到的结果：

[E::main_mem] failed to open file `/home/jonas/BASE/dna_seq/reads/2064-01/test_BHYHT7CCXY.RJ-1967-987-02.2_2.fastq.gz'.
free(): double free detected in tcache 2
rc_1: -6
rc_2: 0
Raise exception
Error: stdout:  stderr: None in misc.run_command()
 ERROR: # Process ended with returncode != 0, stdout:  stderr: None

它似乎捕获了错误的返回码。

但是为什么stdout 是空的而stderr= None 呢？ 如何在进程成功和失败时捕获输出以将其记录到记录器中？

Answer 1

首先，使用外壳

默认情况下，不要让shell=True 指定sh，而是明确指定bash 以确保pipefail 是可用的功能：

shell_script = r'''
set -o pipefail || exit
bwa-mem2/bwa-mem2 mem \
  -R '@RG\tID:2064-01\tSM:2064-01\tLB:2064-01\tPL:ILLUMINA\tPU:2064-01' \
  reference_genome/human_g1k_v37.fasta \
  BHYHT7CCXY.RJ-1967-987-02.2_1.fastq \
  BHYHT7CCXY.RJ-1967-987-02.2_2.fastq \
  -t 14 \
  | samtools view -bS \
    -o dna_seq/aligned/2064-01/2064-01.6.bam -
'''

process = subprocess.Popen(["bash", "-c", shell_script],
                           stdout=subprocess.PIPE,
                           stderr=subprocess.PIPE,
                           text=True)

这工作，但它不是最好的选择。

---

第二，完全没有外壳

p1 = subprocess.Popen(
  ['bwa-mem2/bwa-mem2', 'mem',
   '-R', r'@RG\tID:2064-01\tSM:2064-01\tLB:2064-01\tPL:ILLUMINA\tPU:2064-01',
   'reference_genome/human_g1k_v37.fasta',
   'BHYHT7CCXY.RJ-1967-987-02.2_1.fastq',
   'BHYHT7CCXY.RJ-1967-987-02.2_2.fastq', '-t', '14'],
  stdout=subprocess.PIPE)
p2 = subprocess.Popen(
  ['samtools', 'view', '-bS',
   '-o', 'dna_seq/aligned/2064-01/2064-01.6.bam', '-'],
  stdin=p1.stdout,
  stdout=subprocess.PIPE,
  stderr=subprocess.PIPE,
  text=True)
p1.stdout.close()
output, _ = p2.communicate() # let p2 finish running
p1.wait()                    # ensure p1 has properly exited

print(f'bwa-mem2 exited with status {p1.returncode}')
print(f'samtools exited with status {p2.returncode}')

...它可以让您分别检查p1.returncode 和p2.returncode。