使用python检查来自JSON的URL的网络响应

Question

我需要从这个 URL hkex.com.hk 获取包含信息的 JSON，我可以使用 firefox>developer tools>network 并寻找我想要的 JSON，我需要使用 python 做同样的事情，所以远我有这个

url='https://www.hkex.com.hk/Market-Data/Securities-Prices/Equities?sc_lang=en'
r = requests.get(url)
print(r.text)

但我只收到一个 HTML，所以即使在使用 .json() 之后，我也会收到错误“期望值”，因为它是空的，我该如何实现呢？

Answer 1

响应请求是一个 html 文本，因此您不能对整个响应使用 json() 方法。 应该有另一种方法可以将html“转换”为json，但是您必须找到要转换为的html部分。

Answer 2

json 确实隐藏在您在其中一个 cmets 中提到的 url 中。您必须获取 html，提取 json 并加载它：

url = 'https://www1.hkex.com.hk/hkexwidget/data/getequityfilter?lang=eng&token=evLtsLsBNAUVTPxtGqVeG8QpVRBPNt2I8CbDELLpyZv%2bff8QFzdfZ6w1Za4TWSJ6&sort=5&order=0&qid=1627367921383&callback=jQuery35106295196366220494_1627367912871&_=1627367912873'
req = requests.get(url)
#now for the extraction:
target = req.text.split('jQuery35106295196366220494_1627367912871(')[1].split(')')[0]
#EDIT
target = req.text.split('(')[1].split(')')[0]
data = json.loads(target)
data

输出应该是你的 json。