我可以在 Python 的多处理环境中使用 StreamHandler 进行日志记录吗？

Question

在多处理环境中使用单个 StreamHandler 是否安全？

更准确地说，只有一个StreamHandler 将所有进程的日志记录语句打印到stdout 会不会有问题？比如这样：

import multiprocessing as mp
import logging


def do_log(no):
    # 2nd EDIT, suppose we do also this,
    # which should not have any effect if there already exists a 
    # handler! But it probably has under Windows:
    format = '%(processName)-10s %(name)s %(levelname)-8s %(message)s'
    # This creates a StreamHandler
    logging.basicConfig(format=format, level=logging.INFO)

    # root logger logs Hello World
    logging.getLogger().info('Hello world {}'.format(no))


def main():
    format = '%(processName)-10s %(name)s %(levelname)-8s %(message)s'
    # This creates a StreamHandler
    logging.basicConfig(format=format, level=logging.INFO)

    n_cores = 4
    pool = mp.Pool(n_cores)
    # Log to stdout 100 times concurrently
    pool.map(do_log, range(100))
    pool.close()
    pool.join()


if __name__ == '__main__':
    main()

这将打印如下内容：

ForkPoolWorker-1 root INFO     Hello world 0
ForkPoolWorker-3 root INFO     Hello world 14
ForkPoolWorker-3 root INFO     Hello world 15
ForkPoolWorker-3 root INFO     Hello world 16
...

这是一个安全的设置吗？如果不是，会出现什么问题？有什么更严重的 而不是乱码的控制台输出，即程序崩溃？

如果安全的话，使用mp.Process 代替mp.Pool 是否仍然安全？

编辑：我的问题涉及任何操作系统，所以如果 Linux、OSX 或 Windows 之间存在差异，请随时告诉我。

第二次编辑：好的，所以在 Windows 下处理程序消失了，如果我们为每个进程创建一个新的 StreamHandler 会发生什么？

Answer 1

此代码在 Windows 上根本不起作用，这对您来说可能是也可能不是问题。由于 Windows 没有fork，因此您在父级中进行的记录器自定义不会被子级正确继承。

在 Linux/OS X 上，唯一的问题是来自不同进程的消息会出现乱码。 multiprocessing 文档mentions that when discussing logging：

提供了一些对日志记录的支持。但是请注意，logging 包不使用进程共享锁，所以它是可能的（取决于 在处理程序类型上）用于获取来自不同进程的消息 搞混了。

mp.Pool 是使用 mp.Process 实现的，因此它们在此处的行为将完全等效。

编辑：

如果您想要在 Windows 上也可以运行的基本等效的东西，您需要在每个子进程以及父进程中运行日志记录配置：

import multiprocessing as mp
import logging


def do_log(no):
    # root logger logs Hello World
    logging.getLogger().info('Hello world {}'.format(no))

def init_log():
    fmt = '%(processName)-10s %(name)s %(levelname)-8s %(message)s'
    logging.basicConfig(format=fmt, level=logging.INFO)

def main():
    # This creates a StreamHandler
    init_log()
    n_cores = 4
    pool = mp.Pool(n_cores, initializer=init_log)
    # Log to stdout 100 times concurrently
    pool.map(do_log, range(100))
    pool.close()
    pool.join()


if __name__ == '__main__':
    main()
    logging.getLogger().info("hi")

这为您提供了与原始版本在 Linux 上相同的问题（日志消息会出现乱码）。