学习爬取糗事百科的实例

爬取糗事百科的实例

• 1.获取网址，以及构造网址链接
• 2.分析你要爬取内容的构造形式。
• 3.爬取内容。

爬取的步骤分为以下几个步骤：

1.获取网址，以及构造网址链接

从上边的图可以得知，爬取多页，只需要改变它的页面就行了。

2.分析你要爬取内容的构造形式。

分析原码可知，它所有的内容都在这个

中我们就可以写正则表达式去匹配。

3.爬取内容。

最终的代码如下：