【问题标题】:Do dask delayed functions use the same conda environment?dask 延迟函数是否使用相同的 conda 环境?
【发布时间】:2020-11-10 20:37:51
【问题描述】:

我已经使用 conda 安装了 dask。当我创建延迟函数并使用 dask 在我的 PBS 集群上运行它们时,如何确保工作节点在运行延迟函数之前激活相同的 conda 环境?

【问题讨论】:

    标签: python conda dask dask-distributed dask-delayed


    【解决方案1】:

    This document 为您提供有关导入和环境如何跨 dask 集群工作的一般信息。在您的 PBS 案例中,您可能会遇到每个工作人员看到相同文件系统的情况。

    要配置 PBS 启动,您应该阅读 this,您可以在其中定义各种设置,包括工作人员将要搜索的路径。 如果您还/而不是在节点上有本地存储,那么您可能希望使用第一个链接中的一种方法来分发环境。

    【讨论】:

    • 你说得对,我使用的是共享文件系统,所以我不需要帮助分发文件。但是,在运行 python 代码之前,我确实需要工作人员在启动时激活 conda 环境。我可以使用什么启动钩子让他们这样做?您提供的 PBS 启动链接似乎没有描述任何此类钩子。
    猜你喜欢
    • 2021-12-25
    • 2020-07-14
    • 2023-04-04
    • 2022-12-11
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多