前计

最近在完成老师布置的任务看了许多关于Python的知识,但是因为研究的是图像识别的知识,这个任务对于我这个不是数学专业的本科生,有点略显吃力,但是也在硬着头皮去努力的学习。期间学习了Python的语法知识,然后再休息的时候就去做了一个爬虫。深刻感受到了Python的神奇与强大啊。


正题

好了废话不多说了,现在就开始我们的正题·
首先看一下, 我们要爬去的网站吧。一个关于小说的网站选择这个网站的主要原因是因为他是一个静态的网站(主要是自己刚开始学习,对于一些比较复杂的网站还没那个能力)。

分析

这个网站 小白爬虫
首先我们要去找到突破口,突破口有许多,我选择的这个网站的导航页面就是这个“玄幻魔法”“武侠修真”。。。。点击不同的标签对应这个不同的小说。点击一个标签栏进去看看~
小白爬虫
又是一层。。。
继续点击。。
小白爬虫
继续点击(看个小说还真是不容易啊。)
小白爬虫
我去还有啊 我还点~!!!
小白爬虫
好吧终于看到小说了。。。
说下思路吧,我的思路很简单就是去每个标签栏去找到小说,然后尽到小说里面去找到各个章节,然后去将每个章节的文字爬下来就好了。

开始撸代码

首先

import requests
import re
import pymysql

解释一波,这个requests就是一个Python的网络请求的框架
re就是Python的正则表达式框架,然后就是pymysql就是用来接连mysql数据库的。

代码很简单,上网一搜需要的就都有了,用到了requests请求,re正则匹配,然后就是将趴下的数据,存入到mysql里面,代码很基本(我写不出来高深的)。然后我等一下将代码传到github上。
github地址

后记

下一步的打算就是让池哥帮我做一个前台的界面, 我提供后台和数据做一个简短的小说网站。纯属娱乐。好了好了,飞哥催我洗澡了,溜啦溜啦~ 让我的小爬虫去疯狂下吧~

相关文章: