Google App Engine 任务队列获取统计信息失败

Question

我有一个后端服务的拉取队列，当队列为空时，我需要触发另一个脚本。

目前我在从队列中租用任务的方法中使用了一个非常粗略的检测，因此如果返回的任务列表为空，我们假定没有更多可以租用并触发下一步。然而，虽然这在大多数情况下都有效，但有时即使有可用的任务，租约请求似乎也会返回一个空列表。

无论如何，我认为更好的方法是使用队列的 fetch_statistics 方法。这样，脚本可以监控拉取队列中发生的事情，并知道队列中没有更多的项目。现在这显然可以通过队列的 REST api 获得，但是当我在内部使用它们时使用它似乎相当落后。

所以我正在调用 Queue.fetch_statistics()，但它会引发错误。我已经尝试将声明的错误放入 Google，但它没有返回任何内容。在 stackoverflow 上也是如此。

它总是抛出：

AttributeError: type object 'QueueStatistics' has no attribute '_QueueStatistics__TranslateError'

我的代码是：

    q = taskqueue.Queue('reporting-pull')
    try:
        logging.debug(q.fetch_statistics())
    except Exception, e:
        logging.exception(e)

任何人都可以对此有所了解吗？我在这里做了什么非常愚蠢的事情吗？

Answer 1

以防它对其他人有用，这是一个示例函数，可让您开始从应用中获取队列信息。它只是一个示例，可以更好地处理错误，但它应该让您启动并运行。以前我们使用过 Taskqueue 客户端，但我认为这有点矫枉过正，因为无论如何我们都可以在代码中租赁和删除，所以我使用了应用程序标识，它很有效。

from google.appengine.api import taskqueue
from google.appengine.api import app_identity
from google.appengine.api import urlfetch
try:
    import json
except ImportError:
    import simplejson as json
import logging

def get_queue_info(queue_name, stats=False):
    '''
        Uses the Queue REST API to fetch queue info
        Args:
            queue_name: string - the name of the queue
            stats: boolean - get the stats info too
        RETURNS:
            DICT: from the JSON response or False on fail
    '''
    scope = 'https://www.googleapis.com/auth/taskqueue'
    authorization_token, _ = app_identity.get_access_token(scope)
    app_id = app_identity.get_application_id()
    #note the s~ denoting HRD its not mentioned in the docs as far as 
    #I can see, but it wont work without it
    uri = 'https://www.googleapis.com/taskqueue/v1beta1/projects/s~%s/taskqueues/%s?getStats=%s' % (app_id, queue_name, stats)
    #make the call to the API
    response = urlfetch.fetch(uri, method="GET", headers = {"Authorization": "OAuth " + authorization_token})
    if response.status_code == 200:
        result = json.loads(response.content)
    else:
        logging.error('could not get queue')
        logging.error(response.status_code)
        logging.error(response.content)
        return False


    return result

不要忘记使用您的应用身份的 acl 更新您的 queue.yaml

-name: queue_name
 mode: pull
 acl:
 - user_email: myappid@appspot.gserviceaccount.com

我希望有人觉得这很有用。

与此同时，我发布了一个功能请求，以便我们可以使用 Queue 对象执行此操作，如果您也想要它，请去加注星标。 http://goo.gl/W8Pk1

Answer 2

Task Queue Statistics API 现已记录并公开可用。错误不再发生。

Answer 3

您遇到特定错误的直接原因似乎是代码中的错误； Queue.fetch_statistics() 调用 QueueStatistics.fetch() 调用 QueueStatistics._FetchMultipleQueues() 显然遇到 apiproxy_errors.ApplicationError 然后尝试调用 cls.__TranslateError() 但 QueueStatistics 类上没有这样的方法。

我不知道 ApplicationError 的深层原因，但这可能意味着生产运行时尚不支持该功能。