如何使用分布式 dask 调度程序在工作人员上加载文件？

Question

我手动设置了一个 dask-scheduler 和一个 dask-worker。他们看到对方的日志。

我的大文件与调度程序位于同一台机器上（我的 jupyter notebook 也在其中运行）。

但是当我使用dd.read_csv 加载我的文件时，我遇到了常见的No such a file or directory 错误。

我了解数据局部性问题，但如何将我的文件透明地发送到集群？

我在documentation resource 或data locality 中找不到（或理解？）

Answer 1

您可以将文件作为 Python 对象（如 pandas 数据框或 numpy 数组）加载到笔记本中，然后将其分散给工作人员。也可以看看Client.upload_file方法。