使用本地集群的 dask 内存问题

Question

我正在尝试使用 Dask 本地集群来管理系统范围的内存使用情况，

from dask.distributed import Client, LocalCluster
cluster = LocalCluster(scheduler_port=5272, dashboard_address=5273,memory_limit='4GB')

我与：

client = Client('tcp://127.0.0.1:5272')

我有 8 个内核和 32 GB。本地集群将 4GB * 4 = 16GB 内存（我有另一个需要大约 10GB 内存的任务）分配到本地集群。但是，以前有一些任务我可以在不调用client = Client('tcp://127.0.0.1:5272') 的情况下完成。在我调用client = Client('tcp://127.0.0.1:5272') 后，触发了内存错误。在这种情况下我能做什么？谢谢！

我在想是不是因为每个工作人员只分配了 4GB 内存……但是如果我分配 memory_limit='16GB'。如果它使用所有资源，则需要 64GB。我没有那么多记忆。我能做什么？

Answer 1

目前尚不清楚您要达到什么目的，但您对记忆的观察是正确的。如果工作人员受到内存的限制，那么他们将无法完成任务。有什么办法解决这个问题？

• 访问更多资源，如果您无法访问其他硬件，那么您可以查看 curled.io 或查看各种 dask 云选项

• 优化你的代码，也许一些计算可以在更小的块中完成，数据可以被压缩（例如分类 dtype）或者有其他机会减少内存需求（实际上取决于函数，但假设一些内部计算可能是以更少的资源以更小的精度完成）

• 通过非分布式代码使用所有可用资源（这会增加资源需求的一些开销）。