python：运行需要较长时间的脚本时，子进程不返回任何内容

Question

这里有subrpocess问题的初学者：

当我用更少的数据运行两个脚本时，下面的行工作正常，大约需要 10-20 分钟，但是如果要处理更大的数据，一旦两个脚本都完成，子进程就不会返回任何内容（假设在一小时内）。

另外：通常在数据较少的情况下，它的行为也会异常，即不返回 status_code/通过。然后我必须再次运行 sn-p 并且它可以工作。任何可靠的推理都会有很大帮助！

 status_code = subprocess.run(f"python3 scriptA.py {param_1} & python3 scriptB.py {param_2}",
                                     shell=True).returncode

 if status_code == 0:
     print("subprocess ended ..")  # the control does not come here incase of huge files          
     some_other_file.main(some_param1, some_param2)

我不明白为什么会发生这种情况（或者我应该使用不同的方法吗？），非常感谢任何帮助。谢谢！

脚本示例（scriptA 和 scriptB）：

def main(param_2):
    some_func_with_csv_operations()  # not returning anything
    more_funcs()

if __name__ == "__main__":
    param_2 = sys.argv[1]
    main(param_2)

另外，没有任何 scriptA 或 scriptB sys.exit()

编辑：

截图：

尝试在if 条件之前打印status_code，没有打印任何内容，在终端中，我看到一个光标在闪烁。

enter image description here

另外（寻找任何 python 进程）： 使用ps -ax | grep python显示没有相关信息（附图）

enter image description here

Answer 1

尝试单独运行您的进程以更好地了解故障发生在哪里

running_processes = []
running_processes.append(subprocess.Popen(["python3", "scriptA.py", f"{param_1}"]))
running_processes.append(subprocess.Popen(["python3", "scriptB.py", f"{param_2}"]))

both_succeeded = True
for p in running_processes:
    ret = p.wait()
    if ret:   # anything other than zero will evaluate to True here
        both_succeeded = False
    cmd = " ".join(p.args)
    print(f'command "{cmd}" returned code {ret}'

if both_succeeded:
    do_more_things()

上面使用列表来保存正在运行的进程，以便您可以循环处理它们并避免重复代码。如果您肯定只有两个子流程，您可以选择不使用循环。

process1 = subprocess.Popen(shlex.split(f"python3 scriptA.py {param_1}"))
process2 = subprocess.Popen(shlex.split(f"python3 scriptB.py {param_2}"))

ret1 = process1.wait()
ret2 = process2.wait()

if ret1 == 0 and ret2 == 0:  # or "if not ret1 and not ret2:" would also work
    do_more_things()

注意Popen 需要一个参数列表并且不接受单个字符串，但我在此示例中使用了shlex.split 以允许对命令使用单个字符串并获得相同的结果。