如何使用导入创建自定义 Dask 工作者

Question

我正在设置 Dask，我可以使用 dask 进行多处理就好了。

但是，当我想使用预配置的 Dask 工作人员时，我遇到了问题。它们的导入与我在主进程中所做的不同。

我想知道。如何将自定义导入添加到 dask 工作人员中，以便访问这些工作人员的所有期货都可以有效运行。

Answer 1

理想情况下，Dask 工作人员应该都拥有相同的软件环境。通常，这是在 Dask 之外使用 Docker 映像或网络文件系统 (NFS) 来保证的。还有一些其他的解决方案，比如Client.upload_file，对小脚本很有用。