hejingzi

12.7号

利用range()实现虎牙实现自动翻页功能并抓取数据

Range()的用法

range(start,stop,step)

start是序列的第一个数字,stop是序列最后一个数字之前的数字,step是序列每一个数字之间的差。

如果未指定的话,start默认是0,step默认是1。

如果调用range( )并传入一个整数,将该整数变成stop参数,并返回一个从0开始到该整数减一的序列。

如果调用range( )并传入两个整数,将使这两个整数变成start和stop的参数,返回第一个数字开始到第二个数字减一的序列。

如果调用range( )并传入三个整数,将返回第一个整数到第二个整数减一并用第三个整数划分的序列。

用于多次使用循环重复次数。

利用for循环和range()实现虎牙自动翻页功能

添加range()函数

第一次没有成功是没有写对链接导致只抓取出虎牙第一页的数据

for i in range(1,4):
   url = \'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&tagAll=0&page=1\'

后来经过讨论发现问题改进后爬出想要的页面数据

经过上次代码改进后完整代码如下

 

 

json.loads()用法

1、json.dumps()和json.loads()是json格式处理函数(可以这么理解,json是字符串)
  (1)json.dumps()函数是将一个Python数据类型列表进行json格式的编码(可以这么理解,json.dumps()函数是将字典转化为字符串)
  (2)json.loads()函数是将json格式数据转换为字典(可以这么理解,json.loads()函数是将字符串转化为字典)

2、json.dump()和json.load()主要用来读写json文件函数

 

代码运行成功并实现抓取虎牙任意页面的基本数据

 

分类:

技术点:

相关文章: