如何重定向来自多处理池的打印输出答案

【问题标题】：How to redirect print output from multiprocessing Pool如何重定向来自多处理池的打印输出
【发布时间】：2020-06-17 12:46:48
【问题描述】：

如何将多处理池中发生的打印重定向到StringIO()

我将sys.stdout 重定向到StringIO()，只要我不使用multiprocessing 库中的pool，它就可以正常工作。

这个玩具代码是一个例子：

import io
import sys
from multiprocessing import Pool

print_file = io.StringIO()
sys.stdout = print_file

def a_print_func(some_string):
    print(some_string)

pool = Pool(2)  
out = pool.map(a_print_func, [['test_1','test_1'],['test_2','test_2']])

a_print_func('no_pool')
print('no_pool, no_func')

fd = open('file.txt', 'w')
fd.write(print_file.getvalue())
fd.close()

file.txt 仅包含：

no_pool
no_pool, no_func

代替：

test_1
test_1
test_2
test_2
no_pool
no_pool, no_func

【问题讨论】：

这能回答你的问题吗？ how-do-i-get-a-thread-safe-print-in-python-2-6
@stovfl 我不知道到底是怎么回事。另外，使用线程锁不会取消多处理方面吗？
由于进程之间不共享内存，因此父进程和子进程之间不共享对象“print_file”。结果，孩子们写入 print_file 的内容不会被父母看到。
@AnarKi 你必须改用multiprocessing 锁。
如果你愿意，有办法将所有子进程指向一个文件。

标签： python python-3.x multiprocessing

【解决方案1】：

这是一个使用初始化程序将所有子进程的输出定向到单个文件的解决方案：

import io
import sys
from multiprocessing import Pool

print_file = io.StringIO()

print_file = open("file.txt", "w")

def a_print_func(some_string):
    print(some_string)

def foo(*args):
    sys.stdout = print_file

pool = Pool(2, initializer = foo)  
out = pool.map(a_print_func, [['test_1','test_1'],['test_2','test_2']])

a_print_func('no_pool')
print('no_pool, no_func')

程序的输出是

no_pool
no_pool, no_func

并且，执行结束时file.txt的内容是：

['test_1', 'test_1']
['test_2', 'test_2']

【讨论】：

这能回答你的问题吗？
如果您使用print_file = io.StringIO()，这将不起作用。你知道为什么会这样以及如何解决它吗？
每个子进程都可以有自己的 StringIO 输出，但他们不能共享它 AFAIK。 StingIO 在内存中，除非您找到一种方法在多个进程之间共享 StringIO 正在使用的内存，否则您不能这样做。您可以做的是在每个子进程中都有一个 StringIO，并在该子进程结束时将其打印到某个文件中。
另外，父进程可以捕获子进程的标准输出，并对其进行任何操作。