在 Python 中处理 HTTP IncompleteRead 错误

Question

我试图了解如何在下面的代码中处理http.client.IncompleteRead Error。我使用this post 中的想法处理错误。基本上，我认为这可能只是服务器限制了我可以访问数据的次数，但奇怪的是，我有时会收到 200 的 HTTP 状态代码，但下面的代码仍然返回 None 类型。这是因为出现错误时zipdata = e.partial 没有返回任何内容吗？

def update(self, ABBRV):
    if self.ABBRV == 'cd':
        try:

            my_url = 'http://www.bankofcanada.ca/stats/results/csv'
            data = urllib.parse.urlencode({"lookupPage": "lookup_yield_curve.php",
                                 "startRange": "1986-01-01",
                                 "searchRange": "all"})

            binary_data = data.encode('utf-8')
            req = urllib.request.Request(my_url, binary_data)
            result = urllib.request.urlopen(req)
            print('status:: {},{}'.format(result.status, my_url))
            zipdata = result.read()
            zipfile = ZipFile(BytesIO(zipdata))

            df = pd.read_csv(zipfile.open(zipfile.namelist()[0]))
            df = pd.melt(df, id_vars=['Date'])

            return df

        #In case of http.client.IncompleteRead Error
        except http.client.IncompleteRead as e:
            zipdata = e.partial

谢谢

Answer 1

嗯...我已经运行了您的代码 20 次而没有出现读取不完整的错误，您为什么不在读取不完整的情况下重试呢？或者另一方面，如果您的 IP 被阻止，那么他们不会向您返回任何东西是有道理的。您的代码可能如下所示：

maxretries = 3
attempt = 0
while attempt < maxretries:
   try:
      #http access code goes in here
   except http.client.IncompleteRead:
      attempt += 1
   else:
      break