【发布时间】：2019-07-29 23:25:26
【问题描述】：
我一直在尝试与我的用户和 Dask 工作人员一起使用 NFS 共享驱动器。这是可行的吗？我注意到 Dask 在我的主目录中创建了两个文件 global.lock 和 purge.lock，并且在工作人员完成时没有清理它们。这些文件有什么作用？
【问题讨论】：
标签： dask dask-distributed
【发布时间】：2019-07-29 23:25:26
【问题描述】：
使用 NFS 托管用户的软件环境是完全正常的。您看到的文件完全由不同的系统使用。
当 Dask 工作人员的空间不足时，他们会将多余的数据溢出到磁盘。 NFS 可以在这里工作，但如果可用的话，使用本地磁盘会更好。这通常可以使用 --local-directory dask-worker 关键字或临时目录配置值进行配置。
您可以在此处阅读有关 NFS 存储问题和更多指南的更多信息：https://docs.dask.org/en/latest/setup/hpc.html
【讨论】：
-
感谢您的回答@mrocklin。我认为通过共享文件系统与工作人员共享数据可能会有所帮助，或者在某些情况下更容易。此外，使用本地安装的软件包修改工作环境可能更容易。我将继续使用我当前的设置对此进行测试。但是从这些答案的声音来看，这些锁定文件似乎并不是为了锁定特定工作人员的文件系统，因此它可能会起作用。谢谢！
是的，Dask 可以与 NFS mound 一起使用，并且确实可以在各个进程之间共享配置/调度程序状态。每个工作进程都会使用自己的临时存储区。锁定文件可以安全地忽略，它们的存在将完全取决于您正在执行的工作量。
【讨论】：
-
好的，谢谢你的意见@mdurant。我将继续对此进行测试，看看它是否适用于我的工作流程。