如何在特定 TLD 上递归地获取 wget？

【问题标题】：How to wget recursively on specific TLDs?如何在特定 TLD 上递归地获取 wget？
【发布时间】：2016-04-15 12:33:46
【问题描述】：

是否可以使用 wget 从特定 TLD 递归下载文件？

具体来说，我正在尝试下载Code of Massachusetts Regulations 的全文。法规的实际文本存储在跨多个域的多个文件中——所以我想从 index page 开始递归下载，但只关注 .gov 和 .us 域的链接。

【问题讨论】：

【解决方案1】：

在wget documentation on spanning hosts 的帮助下，我能够使用 -H 和 -D 标志来完成这项工作：

wget -r -l5 -H -D.us,.gov http://www.lawlib.state.ma.us/source/mass/cmr/index.html

【讨论】：