【问题标题】:Is there any way to understand when all tasks are finished?有什么方法可以了解所有任务何时完成?
【发布时间】:2016-04-18 22:27:33
【问题描述】:

假设我将 100 个推送任务(作为第 1 组)添加到我的 tasks-queue。然后我将另外 200 个任务(作为第 2 组)添加到同一个队列中。如何知道第 1 组的所有任务是否都已完成?

看起来QueueStatistics 在这里无济于事。 tag 仅适用于拉取队列。

而且我不能有单独的队列(因为我可能有数百个组)。

【问题讨论】:

  • 这肯定不容易。您可能希望数据存储中的分片计数器在其组中的任务完成时递增。然后,您可以根据分片计数器中的组检查已完成任务的数量,看看它是否等于放置的任务数量。这可能仍然不完美,因为我相信在某些情况下允许任务运行两次,因此您的分片计数器还需要有一个可靠的密钥,以便执行两次的相同任务将设置相同的计数器实体。

标签: python google-app-engine task-queue


【解决方案1】:

我可能会像@mgilson 所说的那样在数据存储中使用分片计数器来解决它,并装饰我的延迟函数以在任务完成运行时运行回调。

如果您在https://cloud.google.com/appengine/articles/sharding_counters?hl=en 中包含代码并编写一个减量函数来补充增量之一,我认为您正在寻找这样的东西。

import random
import time
from google.appengine.ext import deferred

def done_work():
  logging.info('work done!')

def worker(callback=None):
  def fst(f):
    def snd(*args, **kwargs):
      key = kwargs['shard_key']
      del kwargs['shard_key']

      retval = f(*args, **kwargs)

      decriment(key)
      if get_count(key) == 0:
        callback()

      return retval
    return snd
  return fst

def func(n):
  # do some work
  time.sleep(random.randint(1, 10) / 10.0)
  logging.info('task #{:d}'.format(n))

def make_some_tasks():
  func = worker(callback=done_work)(func)
  key = random.randint(0, 1000)
  for n in xrange(0, 100):
    increment(key)
    deferred.defer(func, n, shard_key=key)

【讨论】:

    【解决方案2】:

    任务不保证只运行一次,有时甚至成功执行的任务可能会重复。这是一个这样的例子:GAE deferred task retried due to "instance unavailable" despite having already succeeded。

    因此,使用在任务入队时递增并在任务完成时递减的计数器是行不通的 - 在这种重复执行的情况下,它会递减两次,从而导致整个计算中断。

    跟踪任务完成的唯一可靠方法(我能想到的)是独立跟踪每个单独的排队任务。您可以使用task names(在成功入队后指定或自动分配)来做到这一点 - 它们对于给定队列是唯一的。例如,要跟踪的任务名称可以保存在数据存储中的任务列表中。

    注意:这只是我在问自己同样的问题时得到的理论答案,我没有实际测试它。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2022-01-24
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多