Dask.distributed 每个节点只使用一个核心

Question

我有一个程序，其中每个任务都是通过 subprocess.Popen 调用 C++ 外部程序。任务以图表形式排列，一切都通过 dask get 命令执行。

我有这个程序的单节点版本，可以很好地与dask.threaded 配合使用，我正在尝试将此版本扩展到分布式设置。我的目标是在 Slurm 集群上运行它，但我无法部署工作人员。当我运行以下命令时：

screen -d -m dask-scheduler --scheduler-file scheduler.json
screen -d -m srun dask-worker --scheduler-file scheduler.json
python3 myscript.py

每个节点只使用一个核心（每个节点有 20 个核心）。

我确实怀疑 GIL 存在一些问题，但脚本在 dask.threaded 上运行得很好，所以我不太确定发生了什么，希望能提供一些帮助。

Answer 1

我建议查看仪表板以了解 Dask 一次在每个工作人员身上运行了多少任务：

此处的文档：http://dask.pydata.org/en/latest/diagnostics-distributed.html

如果您看到 Dask 只为每个工作人员运行一个任务，那么这可能是您设置工作人员的方式存在问题（您可能需要查看工作人员页面以了解 Dask 认为您已经要求）

如果您发现 Dask 正在每个工作人员同时运行许多任务，那么这可能是您的函数存在问题。