【发布时间】:2010-07-12 15:13:36
【问题描述】:
对于知道wget的人,它有一个选项--spider,它允许人们检查链接是否损坏,而无需实际下载网页。我想在 Python 中做同样的事情。我的问题是我有一个包含 100'000 个链接的列表,我想检查,最多每天一次,至少每周一次。无论如何,这会产生大量不必要的流量。
据我从urllib2.urlopen() documentation 了解到,它不下载页面,而只下载元信息。它是否正确?还是有其他方法可以很好地做到这一点?
最好的,
巨魔
【问题讨论】: