是否可以在 Python 中复制管道，使其具有一个写入端但有两个读取端？

Question

假设我有一个生成一些数据的进程，并且这些数据被两个相互独立的不同进程使用。

解决此问题的一种方法是将生成的数据写入文件，然后让其他两个进程从文件中读取。如果文件大小不大，这可以正常工作，但如果有大量数据，则 IO 会变得昂贵。

如果我只有一个进程使用数据，我可以使用os.pipe() 连接这两个进程，并将数据从一个进程的输出汇集到另一个进程的输入。

但是，由于我有两个消费者进程，我不确定是否有办法复制管道的读取端，以便两个消费者都可以从中读取。

Answer 1

管道中的数据只能读取一次。但是，您可以使用一个中间过程来简单地复制数据并将其写入两个不同的文件描述符。在 Unix 系统上，这是由标准工具 tee 完成的。 POSIX shell 中的一个示例：

$ exec 4> a
$ seq 3 | tee /dev/fd/4 > b

这会将seq 3 的输出写入a 和b 这两个文件。

您可以在 Python 中做同样的事情，使用组合 od 一次调用 os.pipe() 和调用 subprocess.Popen() 用于 tee 进程，以及一次调用 subprocess.Popen() 用于您想要的每个进程连接。

producer = subprocess.Popen(["seq", "3"], stdout=subprocess.PIPE)
pipe_r, pipe_w = os.pipe()
tee = subprocess.Popen(["tee", "/dev/fd/{}".format(pipe_w)],
                       stdin=producer.stdout, stdout=subprocess.PIPE)
consumer1 = subprocess.Popen(["cat"], stdin=tee.stdout)
consumer2 = subprocess.Popen(["cat"], stdin=pipe_r)
producer.wait()
tee.wait()
consumer1.wait()
consumer2.wait()
os.close(pipe_r)
os.close(pipe_w)

Answer 2

因此，由于它是由 Pipe 返回的文件描述符，我很遗憾地说您无法返回；不过，一个想法是让任一读取器进程将数据添加到multiprocessing.Queue，在那里两者都可以读取并随后删除数据。

您也可以始终拥有从写入器进程到每个读取器的管道。还有其他东西，例如shared memory 或dbus，您可以用来传送数据。

您能否更深入地描述您的问题？

根据平台，您也可以让流程使用多个流 - 例如stdout 和第 4 个 - 但这不能在操作系统之间移植。