最好的网站蜘蛛？

Question

我正在将一堆站点移动到新服务器上，并确保我不会错过任何内容，希望能够为程序提供站点列表并让它下载那里的每个页面/图像。有没有什么软件可以做到这一点？我也可以用它来下载一些 wordpress 网站的副本，这样我就可以上传静态文件（我的一些 WP 网站永远不会更新，所以几乎不值得设置新的数据库等）

Answer 1

你可能会得到很多意见。这是一个：http://www.httrack.com/

Answer 2

wget 是你的工具。

在 unix/linux 系统上，它可能已经安装。 windows系统请从http://gnuwin32.sourceforge.net/packages/wget.htm下载。

它是一个命令行工具，有一堆命令行选项来控制它爬取目标网站的方式。使用“wget --help”列出所有可用选项。