【发布时间】:2020-11-10 20:37:51
【问题描述】:
我已经使用 conda 安装了 dask。当我创建延迟函数并使用 dask 在我的 PBS 集群上运行它们时,如何确保工作节点在运行延迟函数之前激活相同的 conda 环境?
【问题讨论】:
标签: python conda dask dask-distributed dask-delayed
我已经使用 conda 安装了 dask。当我创建延迟函数并使用 dask 在我的 PBS 集群上运行它们时,如何确保工作节点在运行延迟函数之前激活相同的 conda 环境?
【问题讨论】:
标签: python conda dask dask-distributed dask-delayed
This document 为您提供有关导入和环境如何跨 dask 集群工作的一般信息。在您的 PBS 案例中,您可能会遇到每个工作人员看到相同文件系统的情况。
要配置 PBS 启动,您应该阅读 this,您可以在其中定义各种设置,包括工作人员将要搜索的路径。 如果您还/而不是在节点上有本地存储,那么您可能希望使用第一个链接中的一种方法来分发环境。
【讨论】: