【问题标题】:Python requests library. Get the status code without downloading the targetPython 请求库。在不下载目标的情况下获取状态码
【发布时间】:2021-06-16 23:20:48
【问题描述】:

我们有一个带有大文件链接的简单网站。有数十万个链接,文件大小从几 MB 到几 GB 不等。所有文件的总大小为几 TB。

我们使用带有 requests 库的 Python 脚本来检查每个 URL 的有效性。我们使用“requests.get(url).status_code”并查找 404。

我担心 requests.get() 会下载我们不需要的每个完整文件。 url 指向总计几 TB 的大文件。如果脚本在每个 request.get() 上下载每个文件,它将运行非常缓慢并且使用太多资源。

是否有可能在请求或其他库中仅获取状态代码而不下载目标?

最后一点:url 目标是二进制文件,而不是 HTML。因此,限制网站下载大小的技巧(例如仅请求 HTML 标头)可能在这里不起作用。

【问题讨论】:

    标签: python-3.x python-requests


    【解决方案1】:

    您可以尝试改用requests.head 函数,它会发送HEAD request。可以将 HEAD 请求视为没有正文的 GET 请求。

    【讨论】:

    • 成功了!我误以为requests.head()得到了html的元素。我没有意识到它得到了http标头。再次感谢。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-08-08
    • 2020-07-11
    • 1970-01-01
    • 1970-01-01
    • 2013-09-15
    相关资源
    最近更新 更多