如何捕获通过 python 脚本运行的 bash 脚本错误？

Question

我正在使用 Airflow，并且我有一些 python 脚本，其中一个启动 sh 脚本（1 个或多个）。对于airflow，即使这个bash脚本返回错误，它也认为任务是成功的。

我想在我的 python 脚本中返回 bash 错误，因为气流会注意到。

import glob
import os
from os import path
import subprocess

odsPath = '/apps/data/02_OS/'


for odsFolder in os.listdir(odsPath):
    if(odsFolder in fileNames):
        newPath = odsPath+odsFolder
        print('Script path: ', newPath)
        for foldFiles in os.listdir(newPath):
            if(foldFiles.endswith('sh')):
                print('Sh script can be launch: ', foldFiles)
            if(foldFiles.startswith('run') and foldFiles.endswith('.sh')):
                os.system('sh ' + newPath+'/'+foldFiles)
                print('Script: '+foldFiles+' executed')

在这种情况下，存在 bash 错误，例如“参数数量不正确”

感谢您的帮助:)

Answer 1

os.system() 运行一个完全不受 Python 控制的命令，但您可以检查它的返回码，如果出现故障，raise 会报错。正如os.system 文档中所建议的那样，subprocess：

subprocess.run(['sh', os.path.join(newPath,foldFiles)],
    check=True)

如果子进程失败，check=True 会引发 subprocess.CalledProcessError。进一步看Running Bash commands in Python