【发布时间】:2021-06-16 23:20:48
【问题描述】:
我们有一个带有大文件链接的简单网站。有数十万个链接,文件大小从几 MB 到几 GB 不等。所有文件的总大小为几 TB。
我们使用带有 requests 库的 Python 脚本来检查每个 URL 的有效性。我们使用“requests.get(url).status_code”并查找 404。
我担心 requests.get() 会下载我们不需要的每个完整文件。 url 指向总计几 TB 的大文件。如果脚本在每个 request.get() 上下载每个文件,它将运行非常缓慢并且使用太多资源。
是否有可能在请求或其他库中仅获取状态代码而不下载目标?
最后一点:url 目标是二进制文件,而不是 HTML。因此,限制网站下载大小的技巧(例如仅请求 HTML 标头)可能在这里不起作用。
【问题讨论】:
标签: python-3.x python-requests