Dask 在这里展示的是哪一段记忆？

Question

运行 dask-worker 后，我看到以下输出，内存为 40.53 GB。 40.53 GB是指这里的分布式内存还是磁盘内存？谢谢

Answer 1

这是指 Dask 在将多余的结果溢出到磁盘之前打算在此特定工作人员上使用的内存量。这不是指磁盘，也不是指分布式内存。它仅指此特定工作人员的物理内存。您可以使用--memory-limit 关键字对其进行修改。

dask-worker scheduler-address:8786 --memory-limit VALUE

默认情况下，这是psutil 库报告的物理内存的 60%。