【发布时间】:2018-05-14 05:34:12
【问题描述】:
如何下载带有特定前缀的完整网站,例如:https://docs.python.org/3/whatsnew/ 我想下载每个包含上述前缀的网址
【问题讨论】:
-
您已经标记了网络爬虫,那么您是否搜索过网络爬虫 Python 库?试过了吗?
-
使用scrapy库
标签: python web-scraping web-crawler
如何下载带有特定前缀的完整网站,例如:https://docs.python.org/3/whatsnew/ 我想下载每个包含上述前缀的网址
【问题讨论】:
标签: python web-scraping web-crawler
如果您使用的是ubuntu,请使用以下命令
wget -r -np https://docs.python.org/3/whatsnew/
如果您使用的是 Windows,请使用htttrack 下载网站以供离线使用。
注意:请勿将这些用于受版权保护的网站
【讨论】: