Dask 分布式本地目录

Question

我想将 所有 dask 临时数据定向到我的高速大磁盘 /mnt/1。我正在像这样运行调度程序：

dask-scheduler --local-directory /mnt/1

和工人：

dask-worker 127.0.0.1:8786 --memory-limit 16GB --nthreads 1 --nprocs 6 --local-directory /mnt/1/

我的导入如下所示：

import dask
from dask import dataframe as dd
from dask import delayed
from dask.distributed import Client
client = Client('localhost:8786', set_as_default=True)
dask.config.set(shuffle='disk')

然而，我仍然看到一个 partd 目录被创建并填充了我的 /tmp 目录中的东西，这不在我的快速和大磁盘上。

我的问题是：我如何告诉分布式 dask 将绝对所有临时数据发送到/mnt/1，而不是将任何东西放入/tmp？

Answer 1

这似乎有效，请注意最后一个新行。命令行标志实际上并没有按照他们建议的那样做，这有点烦人。

import dask
from dask import dataframe as dd
from dask import delayed
from dask.distributed import Client
client = Client('localhost:8786', set_as_default=True)
dask.config.set(shuffle='disk')
dask.config.set({'temporary_directory': '/mnt/1'})