【问题标题】:Django-celery task to fetch json data from API + error handlingDjango-celery 任务从 API + 错误处理中获取 json 数据
【发布时间】:2014-07-08 23:49:17
【问题描述】:

在 python/django 中使用 API 时,我是个菜鸟...

我设置了一个 celery 任务,用于从 NYC 开放数据中获取 .json 数据并将其转换为保存到我的数据库中的对象。该任务设置为每天运行一次。

我对使用 try/except 块进行数据请求感到有些困惑 - 我想确保每天获取一次数据,但我不确定我需要做什么来确保如果出现问题,请求会重试。

query_string = "http://data.cityofnewyork.us/resource/erm2-nwe9.json?$where=created_date>=%s" % new_date
result = requests.get(query_string, headers={'X-App-Token': apptoken})

请求文档显示 HTTPError、Timeout、TooManyRedirects 等异常。我应该为每一个都写一个异常吗?除了重复获取数据的第二行之外,我不确定要为异常写什么。

如果我有一个异常,然后将 requests.get 行放在它的正下方,它会一直尝试直到请求成功吗?

或者我是否需要更改 celery 任务中的某些内容,以便如果请求在午夜运行时失败,它会在其他时间再次尝试? (即使在阅读文档后也不知道该怎么做。)

【问题讨论】:

    标签: python json django exception-handling django-celery


    【解决方案1】:

    把它放在一个循环中。

    ......
    while 1:
        try:
            result = requests.get(query_string, headers={'X-App-Token': apptoken})
            assert result, 'get result as expected'
            break
        except Exception, e:
            print 'error is: ', e
            continue
    ......
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-11-19
      • 2013-09-09
      • 1970-01-01
      • 1970-01-01
      • 2020-06-09
      • 1970-01-01
      • 2018-06-03
      • 2012-10-29
      相关资源
      最近更新 更多