由于爬取了几百条之后,生成的文件就是30多MB啦。所以分成1000,500,500,470.4个批次。

不过,要手动挪一下。【就是把之前第一页生成的挪过来。】

列表文件,和基础信息文件.都弄成空列表!

记录爬取2470条数据

记录爬取2470条数据

前1000个:

记录爬取2470条数据

前1000条:

【记录一下在995条遇到的困难】记录爬取2470条数据

还好,我设置了自动从上次失败的地方进行爬取的功能代码:

再次启动:

记录爬取2470条数据 

前1000条结束:

记录爬取2470条数据 

 

 我们仅仅修改page里面的数值就可以。这是因为record.txt里面已经设置了上次的断点。

记录爬取2470条数据

对于已经成功的1000页,也要修改。为了以后代码执行的工作量小点!进行切割:【切割CVE编号,以及漏洞基本信息!】

代码:https://www.cnblogs.com/hwpbetter/p/12631806.html

相关文章:

  • 2022-12-23
  • 2021-07-02
  • 2021-11-19
  • 2021-12-10
  • 2022-02-13
  • 2021-08-06
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-02-09
  • 2022-12-23
  • 2021-10-04
相关资源
相似解决方案