【发布时间】:2010-11-18 11:14:44
【问题描述】:
好的,我知道我可以使用:
wget -r <website> > <file>
获取网页并保存。我的问题是,我如何使用 cron 和 wget 每小时甚至每分钟获取一个网页,然后将它们保存到一个文件夹中,压缩并压缩它,然后继续添加它以供日后查看.
我知道我可以手动执行此操作,我的目标是基本上每 10 到 20 分钟下载一次,大约 4 小时(如果时间更长也没关系)并将所有内容附加到一个不错的目录中,然后 zip 说目录以节省空间,并在当天晚些时候检查它们。
【问题讨论】:
-
你能解释一下你的最终结果是什么吗?首先,
-r表示您想要保存多于一页 - 这是您想要的还是不想要的?如果是这样,你不应该说“网页”,而是“网页s”,只是为了清楚起见。我假设一页。所以你在上午 10 点、上午 11 点和下午 12 点下载一个页面 - 你想要什么 - 一组文件(wp-10am.htm、wp-11am.htm、wp-12pm.htm)或其他什么? -
有些东西,我第一次主要是在摆弄 wget,除了抓一些快速文件。
-
我最想做的是定期抓取一个网页,并将其保存为 index.
-
victor hugo 刚刚回答了第一部分。下一部分是 gz/zip 它。