【发布时间】:2021-04-02 20:20:35
【问题描述】:
本地计算机(客户端)拥有一些对计算有用的资源,但如果使用分布式集群,则客户端将在client.gather 期间处于空闲状态。如何在本地计算机上创建将连接到现有分布式调度程序的工作人员?
我记得在 GitHub 上读过一个关于此的问题,但我再也找不到了(该线程是在客户端上使用 GPU 的上下文中)。
【问题讨论】:
标签: dask dask-distributed
本地计算机(客户端)拥有一些对计算有用的资源,但如果使用分布式集群,则客户端将在client.gather 期间处于空闲状态。如何在本地计算机上创建将连接到现有分布式调度程序的工作人员?
我记得在 GitHub 上读过一个关于此的问题,但我再也找不到了(该线程是在客户端上使用 GPU 的上下文中)。
【问题讨论】:
标签: dask dask-distributed
我在错误的回购中寻找答案,正确的回购是dask_jobqueue,这是链接:https://github.com/dask/dask-jobqueue/issues/471
在该线程中,@stuarteberg 提出了一种解决方法:通过临时打开本地集群来复制本地工作人员规范,将新的工作人员规范添加到分布式集群规范(dask jobqueues 集群之一)并适当地扩展工作人员的数量,这将导致创建本地工人。
【讨论】: