【问题标题】:urllib request for json does not match the json in browserurllib 对 json 的请求与浏览器中的 json 不匹配
【发布时间】:2017-07-16 09:06:30
【问题描述】:

这是我迄今为止的代码。

url = 'https://www.endomondo.com/rest/v1/users/3014732/workouts/357031682'

response = urllib.urlopen(url)
print response 
data = json.load(response)

print data

问题是,当我在浏览器中查看 json 时,它很长并且包含的​​功能比打印时看到的要多。

更准确地说,我正在寻找应该是的“点”部分

data['points']['points']

然而

data['points']

只有 2 个属性,并且不包含我在浏览器的 url 中看到的第二个“点”。

难道我只能加载 1 个“层”而不是 2 个?

【问题讨论】:

    标签: python json web-scraping


    【解决方案1】:

    您需要在请求中添加user-agent

    使用requestsurllib 文档建议直接使用urllib),您可以这样做:

    import requests
    url = 'https://www.endomondo.com/rest/v1/users/3014732/workouts/357031682'
    response = requests.get(url, headers={'user-agent': 'Mozilla 5.0'})
    print(response.json())
    
    # long output....
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 2015-12-01
      • 1970-01-01
      • 1970-01-01
      • 2016-01-11
      • 1970-01-01
      • 2021-08-31
      • 1970-01-01
      相关资源
      最近更新 更多