将日志记录与多处理模块一起使用答案

【问题标题】：Using Logging with Multiprocessing Module将日志记录与多处理模块一起使用
【发布时间】：2016-09-28 11:56:33
【问题描述】：

我需要创建一个可以在我的 python 包中使用的单个记录器，但是一些函数实现了多处理。我希望所有这些函数都像其他所有函数一样写入同一个日志文件。

我知道在 Python 3.2+ 有一个内置的方法可以做到这一点，但我也需要向后移植到 Python 2.7.x。

是否有任何代码可以很好地与多处理和非多处理功能一起用于日志记录？

通常，我会这样创建一个日志：

module = sys.modules['__main__'].__file__
logging.basicConfig(stream=sys.stderr, level=logging.DEBUG,
                format='%(name)s (%(levelname)s): %(message)s')
log = logging.getLogger(module)
fh = RotatingFileHandler(arguments.o, mode='a', maxBytes=2*1024*1024,
                        backupCount=2, encoding=None, delay=0)
formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %    (message)s')
fh.setFormatter(formatter)
fh.setLevel(logging.DEBUG)
log.addHandler(fh)

然后输出将写入单个文件。它工作得很好，但是当我实现它时，这段代码会创建多个文件，这是我不想要的。

有什么想法吗？

谢谢

【问题讨论】：

您是否将此代码放入通常的if __name__ == '__main__': 条件中？请记住，在使用 multiprocessing 时，不是导入或函数/类定义的所有内容都应该放在那里。
@Bakuriu - 我正在模块级别创建日志，因为这是针对 python 包的。

标签： python python-2.7 logging

【解决方案1】：

在 Python >= 3.2 中执行此操作的功能（通过QueueHandler 和QueueListener 类，如here 所述）可通过logutils 项目在Python 2.7 中使用。

【讨论】：

谢谢你。这可以用于将消息写入单个日志文件吗？
所以当我尝试将日志文件传递给多处理器时，它会抛出一个pickle错误，你能提供一个如何使用这个工具的简单例子吗？
@josh1234 我链接到的帖子有一个工作示例。
该示例确实使用了您的包而不是一些自定义代码。我可以将 QueueHandler 类替换为包中的类。您如何将 QueueListener 与多处理一起使用？
@josh1234 请参阅 Python 日志记录手册了解更多信息：docs.python.org/3/howto/logging-cookbook.html