1.项目名称:

爬取大麦网近期演唱会信息

2.主要功能:

爬取大麦网近期演唱会信息并向用户展示

开发过程

1.首先搭建环境,安装python2.7以及相关模块

结对-爬取大麦网近期演唱会信息-结对项目总结

2.对模块进行测试

结对-爬取大麦网近期演唱会信息-结对项目总结

3.编写程序实现可以爬取网页源码功能

结对-爬取大麦网近期演唱会信息-结对项目总结

4.将网页源码中的文字进行提取,提取出有用的信息

结对-爬取大麦网近期演唱会信息-结对项目总结

5.运行程序,进行测试,结果发现对网页请求过快会出现异常

6.对程序进行改进,每次请求网页前会停留2秒后再次进行请求

结对-爬取大麦网近期演唱会信息-结对项目总结

7.运行程序

结对-爬取大麦网近期演唱会信息-结对项目总结

相关文章: