随机“[Errno -2] 名称或服务未知”错误

Question

我正在使用第三方服务填充本地数据库。我有一个网址列表（大约 500 个）。我在循环中调用每个 url，并使用返回的数据更新我的数据库。代码流程如下：

for url in urllist:
    req = urllib.urlopen(url)
    data = json.loads(req.read())
    req.close()

    #update the db using data here

每当我运行这段代码时，脚本都会随机失败，并显示错误消息“名称或服务未知”。这与 url 没有任何关系，因为脚本在随机点失败（即在一次运行中第 50 次迭代，在另一次运行中第 60 次迭代）

这可能是什么原因？

Answer 1

如果您使用了错误的代理或存在网络问题，您可以试试这个：

for url in urllist:
    retry = 0
    while True: # retry request
        try:
            req = urllib.urlopen(url)
            resp_data = req.read() # in call read() network still processing
        except Exception as e: # TODO need more detailed handling
            if retry > 3: # 3 this is serious problem. exit
                raise e
            retry += 1 # retry
        else:
            data = json.loads()
            req.close() # not needed
            break