1、分析网站

打开开发者工具,我们观察到排行榜的数据并没有在doc里

Python爬虫Dota排行榜爬取
doc文档

在Javascript里我么可以看到下面代码:

Python爬虫Dota排行榜爬取
ajax的post方法异步请求数据

在 XHR一栏里,我们找到所请求的数据

Python爬虫Dota排行榜爬取
json存储的数据

请求字段为:

Python爬虫Dota排行榜爬取
post请求字段

2、伪装浏览器,并将json数据存入excel里面

 

Python爬虫Dota排行榜爬取
获取信息
 
Python爬虫Dota排行榜爬取
将数据保存到excel中

3、结果展示

 

Python爬虫Dota排行榜爬取

学习过程中遇到什么问题或者想获取学习资源的话,欢迎加入学习交流群
626062078,我们一起学Python!

相关文章:

  • 2021-04-27
  • 2022-12-23
  • 2021-06-06
  • 2021-11-26
  • 2022-12-23
  • 2021-10-30
  • 2022-12-23
  • 2021-07-29
猜你喜欢
  • 2021-11-05
  • 2021-07-23
  • 2021-09-30
  • 2021-12-30
  • 2022-01-10
  • 2022-02-05
  • 2022-01-31
相关资源
相似解决方案