项目的背景呢,其实本人酷爱看小说,用过付费软件,以前每月看书的钱都有百十来块,在经济拮据的时候吧,就会没书看,在百度上搜索找资源看,不过每次都会被广告链接带走,很是不爽,所以就下定决心自己写一个站点,如今初步完成,忍不住激动的心情,分享给大家,好了废话不多说先上效果图。
http://novel.nuwa.nat123.cc/novel/recommend 这个是推荐页的地址
刚开始写的时候,其实对于我来说什么都是摸索,没有任何人的指导,那会儿只能通过百度找相关的资料,经过几天的整理,以及实现方式的优劣的比较,初步的定下了一个实现的框架流程。
1.首先我们要一个获取小说资源的程序----------爬虫。
2.其次我们要有一个小说内容展示的程序--------网页。(当然专业一点我们叫web应用)
确定了这两个大方向,下面就开始了疯狂的资料收集。
首先就是了解爬虫,因为本人拿手的是JAVA言语,所以其他语言的资料我只是在框架设计的事件了解一下,了解一下他们的思路,到具体怎么实现就不会在关注。JAVA语言使用的受众广,相对来说资料会多很多,在这里我想起来一个特别有趣的事,我有个朋友喜欢物以稀为贵,别人买andriod手机,他说我不能和大家一样,于是买了个windows phone 刚开始还是挺开心的,后来发现自己这个银行卡没有对应的手机应用软件,他整个人都不好了。所以有的时候选择很重要。
跑题了,回来回来,我们还是说爬虫,因为我们的爬虫要完成抓取小说的功能,所以按分类来说,我们的爬虫属于特定爬虫,或者说拥有某种喜好的爬虫。看了很多爬虫实现的例子,内心是崩溃的,没有符合心意的爬虫,直到有一天我遇到了Jsoup,我感觉我遇到了真爱,为什么这么说了,Jsoup页面处理依赖CSS选择器,大爱啊,有了CSS选择器,我们就可以很灵活的处理页面节点,所以那天我想都没想直接把Jsoup娶回家了。
至于基于Jsoup如何实现爬虫我会在下一章节中讲解。
下面讲讲WEB应用,这个就是一个小说内容的展示,想了想,页面要是太丑了,会影响我的阅读体验,我要求还是很高的。哈哈。
所以就去找模版了,百度了一下,找了一个小说网站,把模版搞了下来,哈哈,我发现自己太坏了。
WEB应用使用的是Spring Boot + FreeMarker +NuwaDB(我自己封装的持久层框架,比Mybatis好用,哈哈,我脸一点也不红)。
这边也会在后续章节讲解。
本章是简介,其实最大的特点就是在线实时搜索,我这里设计的爬虫,对于库中没有的小说,会实时的抓取,如果没有抓到,就没有啦,不过绝大多数都是有的,这个和资源站点的丰富程度有关系,当然我比较懒,只配了几个。