【问题标题】:How to assign tasks to specific worker within dask yarn cluster如何将任务分配给 dask 纱线集群中的特定工作人员
【发布时间】:2020-09-12 12:21:06
【问题描述】:

可以在此处找到与 dask.distributed 类似的问题:How to assign tasks to specific worker within Dask.Distributed

但同样的技术似乎不适用于 dask 的纱线集群。有没有办法在纱线集群 dask 案例中做到这一点? IE。将任务分配给具有特定 IP 地址的特定节点中的特定工作人员?

【问题讨论】:

    标签: python hadoop-yarn dask


    【解决方案1】:

    我会回答我自己的问题。简而言之,我放置链接的帖子确实有效。但是您必须确保分配给工作人员的方法获得不同的参数。否则,它将在同一个容器上运行。

    【讨论】:

      猜你喜欢
      • 2019-12-25
      • 2018-06-04
      • 2022-08-22
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2014-06-28
      • 1970-01-01
      相关资源
      最近更新 更多