用 Python 下载网页及其所有资源文件答案

【问题标题】：Downloading a web page and all of its resource files in Python用 Python 下载网页及其所有资源文件
【发布时间】：2010-10-25 01:16:34
【问题描述】：

我希望能够使用 Python 下载页面及其所有相关资源（图像、样式表、脚本文件等）。我（有点）熟悉 urllib2 并且知道如何下载单个 url，但是在我开始在 BeautifulSoup + urllib2 上进行黑客攻击之前，我想确保没有与“wget --page-requisites @”等效的 Python 987654321@"。

我特别感兴趣的是收集有关下载整个网页（包括所有资源）需要多长时间的统计信息。

谢谢标记

【问题讨论】：

stackoverflow.com/questions/419235/…的可能重复

标签： python urllib2 wget

【解决方案1】：

吸毒者？见http://effbot.org/zone/websucker.htm

【讨论】：

【解决方案2】：

websucker.py 不导入 css 链接。 HTTrack.com 不是 python，它是 C/C++，但它是一个很好的维护工具，用于下载网站以供离线浏览。

http://www.mail-archive.com/python-bugs-list@python.org/msg13523.html [issue1124] Webchecker 不解析 css "@import url"

Guido> 这基本上是不受支持和无人维护的示例代码。随意不过要提交补丁！

【讨论】：