python请求很慢

Question

我正在开发一个下载管理器。在 python 中使用 requests 模块来检查有效链接（并希望链接断开）。 我检查以下链接的代码：

url = 'http://pyscripter.googlecode.com/files/PyScripter-v2.5.3-Setup.exe'
r = requests.get(url, allow_redirects=False) # this line takes 40 seconds
if r.status_code==200:
    print("link valid")
else:
    print("link invalid")

现在，问题是执行此检查大约需要 40 秒，这是巨大的。 我的问题是我怎样才能加快速度，也许使用 urllib2 或其他东西？？

注意：另外，如果我将 url 替换为“http://pyscripter.googlecode.com/files/PyScripter-v2.5.3-Setup.exe”的实际 URL，这需要一秒钟，所以看起来是请求的问题。

Answer 1

并非所有主机都支持head 请求。你可以改用这个：

r = requests.get(url, stream=True)

这实际上只下载标头，而不是响应内容。此外，如果您的想法是事后获取文件，您不必再提出请求。

更多信息请参见here。

Answer 2

不要使用实际检索文件的get，使用：

r = requests.head(url,allow_redirects=False)

从我机器上的 6.9 秒到 0.4 秒