创建后是否可以将工作人员资源分配给分布式工作人员？答案

【问题标题】：Is it possible to assign worker resources to dask distributed worker after creation?创建后是否可以将工作人员资源分配给分布式工作人员？
【发布时间】：2019-04-09 23:44:52
【问题描述】：

根据标题，如果我通过 helm 或 kubernetes 创建工作人员，是否可以在创建工作人员后分配“工作人员资源”（https://distributed.readthedocs.io/en/latest/resources.html#worker-resources）？

用例是访问数据库的任务，我想限制在给定运行中能够访问数据库的进程数量，而不限制集群的总大小。

【问题讨论】：

好吧，再次挖掘代码，我找到了set_resources。我想我可以做一个client.run(lambda x: set_resources('my-db')。这是实现这一目标的最合适方法吗？

标签： dask dask-distributed

【解决方案1】：

截至 2019 年 4 月 9 日，没有标准的方法可以做到这一点。您已经找到了Worker.set_resources 方法，该方法使用起来很合理。最终我也希望 Worker 插件能够处理这个问题，但它们没有实现。

对于您控制对数据库的访问的应用程序，听起来您真正追求的是信号量。您可以使用help build one（考虑到当前的Lock 实现，它实际上非常简单），或者您可以使用Dask Queue 来模拟一个。

【讨论】：