如何在 dask 分布式工作人员上设置日志记录？

Question

将 dask 升级到 1.15.0 版后，我的日志记录停止工作。

我使用 logging.config.dictConfig 来初始化 python 日志记录工具，之前这些设置传播到所有工作人员。但是升级后就不行了。

如果我在每个工作人员的每次日志调用之前执行 dictConfig，它可以工作，但这不是一个正确的解决方案。

所以问题是它如何在我的计算图开始执行之前初始化每个工作人员的日志记录并且每个工作人员只执行一次？

更新：

这个 hack 对一个虚拟示例起作用，但对我的系统没有任何影响：

def init_logging():
   # logging initializing happens here
   ...

client = distributed.Client()
client.map(lambda _: init_logging, client.ncores())

更新 2：

在仔细阅读文档后解决了这个问题：

client.run(init_logging)

所以现在的问题是：这是解决这个问题的正确方法吗？

Answer 1

从 1.15.0 版开始，我们现在从一个干净的进程中派生工作人员，因此您在调用 Client() 之前对进程所做的更改不会影响派生的工作人员。欲了解更多信息，请在此处搜索forkserver：https://docs.python.org/3/library/multiprocessing.html#contexts-and-start-methods

您使用Client.run 的解决方案对我来说看起来不错。 Client.run 目前（从 1.15.0 版开始）是在所有当前活动的工作人员上调用函数的最佳方式。

分布式系统

值得注意的是，您在这里设置的是从单台计算机上的同一进程派生的客户端。您在上面使用的技巧在分布式设置中不起作用。如果有人遇到这个问题，询问如何在集群上下文中使用 Dask 处理日志记录，我将添加此注释。

通常 Dask 不会移动日志。相反，通常用于启动 Dask 的任何机制都会处理此问题。像 SGE/SLURM/Torque/PBS 这样的作业调度程序都是这样做的。像 YARN/Mesos/Marathon/Kubernetes 这样的云系统都是这样做的。 dask-ssh 工具可以做到这一点。