【问题标题】:Python Requests module not refreshing new page contentsPython 请求模块不刷新新页面内容
【发布时间】:2020-10-23 09:16:38
【问题描述】:

嗨,我想抓取具有 JSON 提要的 XHR 请求 url,但是当我将查询参数页面值更改为 2 或任何其他值时,它会从第 1 页检索数据,但是当我在浏览器中执行相同操作时,它会根据其页面显示数据。 在此输入代码

import json
import requests
url = 'https://www.daraz.pk/computer-graphic-cards/?'
params_dict = {}
params_dict['ajax']= 'true'
params_dict['page']= 1
params_dict['spm'] = 'a2a0e.home.cate_2_9.1.35e349378NoL6f' 
res = requests.get(url, params=params_dict)
data = json.loads(res.text)
res.url # url changes but content is same of page 1

info = data.get('mods').get('listItems')
for i in info:
   print(i['name'])

【问题讨论】:

    标签: python pagination python-requests xmlhttprequest


    【解决方案1】:

    我认为返回数据的方式存在问题。我通过循环页面稍微修改了调用。

    查看返回的数据,似乎有些产品即使在 UI 中也是在多个页面上返回的。

    for page_num in range(1, 7):
        res = requests.get('https://www.daraz.pk/computer-graphic-cards/?ajax=true&page=' + str(page_num)).json()
        info = res.get('mods').get('listItems')
        for i in info:
           print('%s:%s:%s---------%s' % (i['itemId'],i['sellerName'],i['skuId'],i['name']))
        print('----------------------- PAGE %s ------------------------------------------' % (page_num))
    

    从此代码 sn-p 返回的数据链接到here

    【讨论】:

    • 感谢您的帮助,但我尝试遍历页面并得到与您相同的结果,每个页面都显示第 1 页中的相同项目,如您的 pastebin 代码 sn-p
    猜你喜欢
    • 1970-01-01
    • 2017-09-22
    • 2016-08-09
    • 2020-07-28
    • 2016-03-26
    • 2022-01-25
    • 1970-01-01
    • 2015-06-18
    • 2016-02-04
    相关资源
    最近更新 更多