| 作业要求 | https://edu.cnblogs.com/campus/fzzcxy/2018SE1/homework/11250 |
|---|---|
| 作业目标 | 学习并使用 网络爬虫 |
| 作业源代码 | https://gitee.com/hu-yubin/pair-work |
| 胡玉彬 | 211806319 |
| 张恒 | 211806423 |
| 代码行数 | 171+54 |
| 需求分析时间 | 120分钟 |
| 代码实现时间 | 10小时 |
结对的过程
结对照片
结对感受
张恒：我擅长的方面不多，跟队友一起进行编码可以让我学习到更多的东西。
胡玉彬：上学期的东西我快忘完了，有个小伙伴一起写代码，还能交流想法，蛮不错的。
思路
1.先将网站的中找到我们所需要的的cookie和url（cookie有很多，别找错了）
2.设计一个pojo类student来传递数据
3.我们进入班课以后，班课里有很多的活动，每个活动的url都不一样，我们需要将每个课堂完成部分的url给爬下来，有14个
4.我们需要把每个活动的url里的源代码爬出来，并将里面我们需要的学号姓名和成绩解析出来
5.然后将每个活动里每个同学的分数相加，并进行排序，变成一个集合
6.按照老师的要求，用IO流进行输出，进入score.txt文件
代码实行
1.解析配置文件，并用cookie进入云班课
2.将每个课堂完成部分的URI爬下来
3.设置两个集合和两个类，对每个活动里的url的内容进行爬取
4.将两个集合进行合并，并进行排序
5.最后用IO流将数据输入进文档
问题
1.爬取每个活动的url，算法出错，一直输出同一个值。
2.对cookie不了解，花了相当多的时间来学习。
3.我还是太缺乏锻炼，开始写的时候没有明确的方向。
新知识
1.学会了网络爬虫，以及遇到登录注册时怎么办
2.更加了解joup包的使用
参考网站
1.https://jsoup.org/apidocs/
2.https://blog.csdn.net/qwe86314/article/details/91450098
3.https://v.youku.com/v_show/id_XMjcyNTIzNDcyNA==