【发布时间】:2020-09-12 12:21:06
【问题描述】:
可以在此处找到与 dask.distributed 类似的问题:How to assign tasks to specific worker within Dask.Distributed
但同样的技术似乎不适用于 dask 的纱线集群。有没有办法在纱线集群 dask 案例中做到这一点? IE。将任务分配给具有特定 IP 地址的特定节点中的特定工作人员?
【问题讨论】:
标签: python hadoop-yarn dask
可以在此处找到与 dask.distributed 类似的问题:How to assign tasks to specific worker within Dask.Distributed
但同样的技术似乎不适用于 dask 的纱线集群。有没有办法在纱线集群 dask 案例中做到这一点? IE。将任务分配给具有特定 IP 地址的特定节点中的特定工作人员?
【问题讨论】:
标签: python hadoop-yarn dask
我会回答我自己的问题。简而言之,我放置链接的帖子确实有效。但是您必须确保分配给工作人员的方法获得不同的参数。否则,它将在同一个容器上运行。
【讨论】: