一、背景：
爬取Bilibili用户信息及其发布过的视频信息，并进行数据清洗、分析、可视化
二、爬虫思路：
利用一个粉丝多的大v用户作为爆点，爬取用户信息、视频信息
三、数据去重问题：
利用用户粉丝的思路去爬取用户，必然会导致用户数据重复问题，我们可以巧妙地利用mongodb的存储机制，利用唯一的一个字段标识，可以既增量存储而又不重复的问题，这里我们利用用户id和视频id作为标识，数据不重复的存储到mongodb中。
四、具体使用：
源码其实很清晰，在github的Readme中有详细说明。
五、源码：
六、数据可视化：
1.视频分类词云图
2.粉丝
3.性别
4.注册时间
5.签名词频
6.会员等级