前两年刚学习python的时候练手开发了一只爬虫，最近想对这只虫子进行改良，从文件存储到数据库存取，从几个网站到几种类型网站。接下来又考虑怎么样将抓取的内容展示出来……。从简单的网页展示到定制查询，再到针对大洋、索贝等流行的新闻（信息）汇聚系统开发新的功能；从展示到分发引用到用户管理到组织结构关联……。反正是一步一步把自己带进了一个坑。现已基本完工，把开发过程的关键步骤记录一下。
一、平台整体架构
平台由新闻（信息）采集、数据存取、内容展示和管理四大部分组成：
- 新闻（信息）采集模块负责抓取主流权威媒体新闻、本地只能部门权威发布信息、所辖县、市政府权威发布信息和具有参考价值的其他相关网站信息。
- 数据库负责存储采集的素材、各网站爬虫配置参数、单位组织结构、用户信息和系统必要的保护和备份等信息。
- 内容展示模块由前端展示页面和后台管理组成，包括登录页面、管理页面、展示页面、错误提示页面组成。
- 主要界面如下图：