【问题标题】:Azure Batch job release task not runningAzure Batch 作业发布任务未运行
【发布时间】:2020-11-17 14:01:10
【问题描述】:

我们从作业发布任务向我们的服务执行 Web 请求,因为 azure batch(据我所知)不提供任务完成挂钩以通知我们的服务任务完成。我们不想轮询任务完成情况。

我们发现,在自动缩减池的情况下,作业发布任务有时似乎无法执行。这使得我们的回调不可靠。

documentation 声明“当作业完成时,作业释放任务会在池中执行了至少一个任务的每个节点上运行”

当任务完成时发出回调的可靠方法是什么?如果池自动缩放,作业发布任务是否预计不会运行 - 如果需要在发布任务中上传崩溃转储或日志,它几乎无用。

【问题讨论】:

    标签: azure-batch


    【解决方案1】:

    作业的生命周期与计算节点(或批处理池的实例)的生命周期没有内在联系。作业的任务可以分布在许多计算节点上。正如您通过文档正确指出的那样,如果指定了作业的发布任务,则与作业完成相关联(通过自动完成、终止或删除作业)。

    因此,Batch 池的缩减与作业释放任务是否运行无关。

    有几种方法可以解决这个问题:

    1. 您可能需要考虑添加自定义代码(可能是包装器)以在主程序执行完成后链接的任务本身中发出回调。
    2. Create a dependent task 只有在它依赖的任务完成后才会执行你的回调。
    3. 禁用自动缩放并通过查询作业中的任务数手动扩展池,然后在分配所有任务后发出作业终止以运行作业发布任务。在作业转换为 completed 状态后,手动扩展您的池。
    4. 利用操作系统的挂钩(如 systemd)在关机时运行命令。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-11-20
      • 1970-01-01
      • 1970-01-01
      • 2011-10-19
      相关资源
      最近更新 更多