如何使用 Python 从搜索查询中下载所有页面？

Question

例如，对于这个网址：https://www.canlii.org/en/#search/type=decision&jId=on&all=Duties%20liabilities%20officers%20directors

如何使用 Python 将所有 3416 案例和 315 立法作为 html 文件下载到我的本地磁盘？

Answer 1

试试这个网站可能是最好的 Python 下载/抓取库。

http://www.crummy.com/software/BeautifulSoup/

有据可查、广泛使用、健壮、相当快速等。