【问题标题】:Azure Batch OutputFiles upload from all compute nodes从所有计算节点上传 Azure Batch OutputFiles
【发布时间】:2022-08-17 02:28:26
【问题描述】:

我有一个基于 mpi 的任务,其中每个线程为 Azure-Batch 上的每个计算节点在 \'working-directory\' 上写入文件。

该任务配置为将结果(文件)上传到我的存储帐户。

但是只有主节点上的文件被上传到存储中。

我想知道,

如何让所有节点将文件上传到我的存储帐户?

是否有任何中间方法可以将文件从从节点复制到主节点并上传到存储帐户?

    标签: azure azure-batch azure-sdk-python


    【解决方案1】:

    目前,这是不可能的。你有几个选择:

    1. 使用诸如gather/bcast/等的MPI原语。将相关数据收集到可以由主任务上传的文件中。
    2. 使用客户端中的GetFile from ComputeNode 从各个节点检索文件。您需要编写逻辑来自动执行此操作并上传到您的存储帐户。
    3. 使用virtual file system mount 备份到 Azure Blob 或文件存储,并直接写入这些装载点下的文件。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-05-19
      • 1970-01-01
      • 2013-03-13
      相关资源
      最近更新 更多