Dask 分布式 - 创建工人的指南

Question

我是 dask 新手，在设置 dask 分布式集群时不知道这样做的最佳做法是什么。在设置工作人员时，让两个工作人员都拥有 4GB 内存还是让 8 个工作人员拥有 1GB 内存更好？它是否因要处理的数据而异？我们有大约 5-10GB 的 parquet 格式数据需要处理。你能建议一个通用的设置吗？ 此外，当我们需要增加调度程序的内存时，我们还需要增加多少工作人员？

Answer 1

这取决于您将执行的函数类型。如果您的函数在纯 Python 中，那么最好有多个工作人员，否则执行将被 Python 的 GIL 阻止。另一方面，如果您的函数主要使用释放 GIL 的代码，那么让具有多个线程的工作人员可能是有益的。