1.为什么要用Cookies池？
- 网站需要登录才可爬取，例如新浪微博
- 爬取过程中如果频率过高会导致封号
- 需要维护多个账号的Cookies池实现大规模爬取
2.Cookies池的要求
- 自动登录更新
- 定时验证筛选
- 提供外部接
3.Cookies池架构
https://github.com/Germey/CookiesPool
(1)安装 pip3 install -r requirements.txt (2)基础配置 修改cookiespool/config.py (3)数据库配置 account:weibo:账号 cookies:weibo:账号 Value分别为密码和Cookies 账号自行某宝购买 Redis连接信息到cookiespool/config文件修改 (4)云打码平台配置 到yundama.com注册开发者和普通用户。 开发者申请应用ID和KEY，普通用户用于充值登录。 配置信息到cookiespool/config文件修改 (5)进程开关 配置信息到cookiespool/config文件修改 (6)运行 python3 run.py (7)批量导入 python3 importer.py 请输入账号密码组, 输入exit退出读入 18459748505----astvar3647 14760253606----gmidy8470 14760253607----uoyuic8427 18459749258----rktfye8937 账号 18459748505 密码 astvar3647 录入成功 账号 14760253606 密码 gmidy8470 录入成功 账号 14760253607 密码 uoyuic8427 录入成功 账号 18459749258 密码 rktfye8937 录入成功 exit