在python中使用子进程进行错误检查的管道

Question

我有一个使用subprocess 的管道方案，其中一个进程p2 将另一个进程p1 的输出作为输入：

p1 = subprocess.Popen("ls -al", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
p2 = subprocess.Popen("grep mytext - ", shell=True, stdin=p1.stdout, stdout=subprocess.PIPE)
result = p2.communicate()

p1 或 p2 可能因各种原因失败，例如输入错误或命令格式错误。

当p1 没有失败时，此代码可以正常工作。我该如何做到这一点，还要检查 p1 或 p2 是否特别失败？示例：

# p1 will fail since notafile does not exist
p1 = subprocess.Popen("ls notafile", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
p2 = subprocess.Popen("grep mytext - ", shell=True, stdin=p1.stdout, stdout=subprocess.PIPE)
result = p2.communicate()

我可以检查p2.returncode 并发现它不是0，但这可能意味着p2 失败或p1 失败。如果此管道出错，我如何专门检查 p1 失败或 p2 失败？

我不知道如何使用 p1.returncode 来解决这个问题，这将是理想且显而易见的解决方案。例如：

p1 = subprocess.Popen("ls foo", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
p2 = subprocess.Popen("grep mytext - ", shell=True, stdin=p1.stdout, stdout=subprocess.PIPE)
# here, p2.returncode not defined yet since we didn't communicate()
assert(p2 is None)
r = p2.communicate()
# now p2 has a returncode
assert(p2.returncode is not None)
# ... but p1 does not!
assert(p1.returncode is None)

所以我看不到 returncode 在这里有什么帮助？

感谢@abarnert 的完整解决方案是这样的：

p1 = subprocess.Popen("ls -al", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
p2 = subprocess.Popen("grep mytext - ", shell=True, stdin=p1.stdout, stdout=subprocess.PIPE)
result = p2.communicate()
if p2.returncode != 0:
  # something failed
  if p1.wait() != 0:
     # p1 failed...
  else: 
     # p2 failed...

附言我知道shell=True 的安全警告。

Answer 1

我可以检查 result.returncode 并看到它不是 0，但这可能意味着 p2 失败。

不，你不能； result 只是一个元组 (stdoutdata, stderrdata)。

具有returncode 值的是Popen 对象。

这就是你的答案：

在这个管道出错的情况下，如何具体检查 p1 失败或 p2 失败？

只需检查p1.returncode。

但是，请注意，虽然p2.communicate 确实保证p2 已被waited on，但它确实不保证p1 相同.幸运的是，它应该保证p1至少是waitable，而不是waited，所以：

if p2.returncode:
    if p1.wait():
        # p2 failed, probably because p1 failed
    else:
        # p2 failed for some other reason

除了你几乎肯定想在communicate 之前做一个p1.stdout.close()。否则，进程 2 中的错误可能会导致进程 1 被阻塞，因此您的 p1.wait() 可能会永远阻塞。 （您可以通过在此处使用p1.poll() 来解决此问题，如果未完成则将其杀死，但实际上，最好不要产生问题而不是解决它。）

最后一件事：您已将 p1.stderr 设置为 subprocess.PIPE，它永远不会附加到任何东西，因此进程 1 也有可能阻止尝试写入溢出的 stderr 管道。您可能也想解决这个问题。