【问题标题】:Checking whether a link is dead or not using Python without downloading the webpage在不下载网页的情况下使用 Python 检查链接是否失效
【发布时间】:2010-07-12 15:13:36
【问题描述】:

对于知道wget的人,它有一个选项--spider,它允许人们检查链接是否损坏,而无需实际下载网页。我想在 Python 中做同样的事情。我的问题是我有一个包含 100'000 个链接的列表,我想检查,最多每天一次,至少每周一次。无论如何,这会产生大量不必要的流量。

据我从urllib2.urlopen() documentation 了解到,它不下载页面,而只下载元信息。它是否正确?还是有其他方法可以很好地做到这一点?

最好的,
巨魔

【问题讨论】:

    标签: python urllib2


    【解决方案1】:

    您应该为此使用HEAD Request,它会向网络服务器询问没有正文的标头。见How do you send a HEAD HTTP request in Python 2?

    【讨论】:

    • 对,HEAD 会为您获取标头(包括 HTTP 状态),而无需下载消息正文。但是,有些网站(错误)配置为发送状态为 200 的“未找到”/404 页面,因此很难检测到这些情况。
    • 据我所知这是 wget --spider 所做的。
    • 非常感谢您的解决方案以及对错误配置网站的想法(值得牢记!) - 这正是我所需要的 :)
    • 这是否也适用于 zip 或 png 等文件的 URL?
    【解决方案2】:

    不确定如何在 python 中执行此操作,但通常您可以检查“响应标头”并检查代码 200 的“状态代码”。此时您可以停止阅读该页面并以您不这样做的方式继续您的下一个链接'不必只下载'响应标题'的整个页面 Status Codes列表

    【讨论】:

    • 为什么这被否决了,请解释你的理由?我知道这不使用 Head 请求,但它完成了同样的事情。
    • 301 是一个重定向,也是一个很好的响应。实际上,任何2**都可以,3**需要进一步处理(重定向)等。仅检查200是不够的。
    猜你喜欢
    • 2012-12-09
    • 2022-01-23
    • 2011-09-22
    • 1970-01-01
    • 2013-04-12
    • 1970-01-01
    • 1970-01-01
    • 2011-08-22
    • 2020-08-04
    相关资源
    最近更新 更多