网络请求 selenium
部分流程：
第一：爬虫引擎生成requests请求，送往scheduler调度模块，进入等待队列，等待调度。
第二：scheduler模块开始调度这些requests，出队，发往爬虫引擎。
第三：爬虫引擎将这些requests送到下载中间件（多个，例如加header，代理，自定义等等）进行处理。
第四：处理完之后，送往Downloader模块进行下载。
从这个处理过程来看，突破口就在下载中间件部分，用selenium直接处理掉request请
相关文章：
相似解决方案
热门标签