如何从 livejournal 博客下载所有条目？

Question

我正在尝试下载完整的 livejournal 博客，以便能够以在线和离线的方式查看它。因此，所有链接到 etc 的图像也应该全部下载并重新链接。

页面从runawaytoday.livejournal.com/295820.html开始，到453506.html结束，增量不均匀。

我试过了：

wget --wait=2 --limit-rate=400K -r -k -p -U Mozilla http://runawaytoday.livejournal.com/

因为 robots.txt 文件而停止

我尝试遍历页面但无法正确完成：

wget -p -k ${http://runawaytoday.livejournal.com/}{295820..453506}.html

给我“-bash: /usr/local/bin/wget: 参数列表太长”

任何帮助将不胜感激！

我在 osx 10.9 上使用 bash 版本 3.2.53

Answer 1

你可以忽略 robots.txt（尽管这可能不是最好的主意）http://wget.addictivecode.org/FrequentlyAskedQuestions#line-230

所以您的命令可能如下所示： wget -e robots=off --random-wait -U Mozilla --mirror -p --convert-links http://runawaytoday.livejournal.com/

--random-wait 在 0.5 到 2 秒之间随机选择一个等待时间。