为什么当管道命令在一起时 shell=True 工作？

Question

我有几个subprocess 实例，我想将它们串在一起形成一个管道，但我被困住了，想征求意见。

例如，模仿：

cat data | foo - | bar - > result

或者：

foo - < data | bar - > result

...我首先尝试了以下，它挂起：

import subprocess, sys

firstProcess = subprocess.Popen(['foo', '-'], stdin=subprocess.PIPE,
                                stdout=subprocess.PIPE)
secondProcess = subprocess.Popen(['bar', '-'], stdin=firstProcess.stdout,
                                 stdout=sys.stdout)

for line in sys.stdin:
    firstProcess.stdin.write(line)
    firstProcess.stdin.flush()

firstProcess.stdin.close()
firstProcess.wait()

我的第二次尝试使用带有shell=True 参数的subprocess 实例，该实例有效：

import subprocess, sys

pipedProcess = subprocess.Popen(" ".join(['foo', '-', '|', 'bar', '-']),
                                stdin=subprocess.PIPE, shell=True)

for line in sys.stdin:
    pipedProcess.stdin.write(line)
    pipedProcess.stdin.flush()

pipedProcess.stdin.close()
pipedProcess.wait()

第一个链式subprocess 方法我做错了什么？我读到最好不要使用shell=True，我很好奇我在第一种方法中做错了什么。谢谢你的建议。

编辑

我修正了我的问题中的一个错字并修正了secondProcess 的stdin 参数。它仍然挂起。

我还尝试删除解决挂起的firstProcess.wait()，但随后我得到一个 0 字节文件为result。

我会坚持使用pipedProcess，因为它可以正常工作。但是，如果有人知道为什么第一个设置会挂起或生成一个 0 字节文件作为输出，我也很想知道原因。

Answer 1

shell=True 之所以有效，是因为您要求外壳程序解释您的整个命令行并自行处理管道。就好像你直接在 shell 中输入了foo - | bar -。

（这也是为什么使用 shell=True 可能不安全的原因；有很多方法可以欺骗 shell 做坏事，如果你直接将命令和参数作为列表传递，那么这些事情就不会发生' t 受制于任何中介机构的解析。）

Answer 2

要修复第一个示例，请将foo_process.stdout.close() 添加为the docs suggest。以下代码模拟foo - | bar - 命令：

#!/usr/bin/python
from subprocess import Popen, PIPE

foo_process = Popen(['foo', '-'], stdout=PIPE)
bar_process = Popen(['bar', '-'], stdin=foo_process.stdout)
foo_process.stdout.close() # allow foo to know if bar ends
bar_process.communicate()  # equivalent to bar_process.wait() in this case  

你不需要在这里明确使用sys.stdin、sys.stdout，除非它们与sys.__stdin__、sys.__stdout__不同。

模拟foo - < data | bar - > result 命令：

#!/usr/bin/python
from subprocess import Popen, PIPE

with open('data','rb') as input_file, open('result', 'wb') as output_file:
    foo = Popen(['foo', '-'], stdin=input_file, stdout=PIPE)
    bar = Popen(['bar', '-'], stdin=foo.stdout, stdout=output_file)
    foo.stdout.close() # allow foo to know if bar ends
bar.wait()

如果您想将修改后的输入逐行提供给foo 进程，即模拟python modify_input.py | foo - | bar - 命令：

#!/usr/bin/python
import sys
from subprocess import Popen, PIPE

foo_process = Popen(['foo', '-'], stdin=PIPE, stdout=PIPE)
bar_process = Popen(['bar', '-'], stdin=foo_process.stdout)
foo_process.stdout.close() # allow foo to know if bar ends
for line in sys.stdin:
    print >>foo_process.stdin, "PY", line, # modify input, feed it to `foo`
foo_process.stdin.close() # tell foo there is no more input
bar_process.wait()