Python Webscraping HTTP 返回 403 禁止状态码

Question

我正在尝试抓取该网站，但在网页抓取时我第一次遇到此代码时得到 403 代码，我真的不明白我必须做什么才能解决它。我想也许我可以使用 Selenium 来抓取页面，但我想知道是否有可能获得 AJAX 响应并获得 JSON 作为返回。如果无法获得退货，我能否解释原因？谢谢。

这是我的代码：

import requests
url = 'https://public-api.pricempire.com/api/item/loadGraph/14/1140'

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36'
}

r = requests.get(url, headers=headers)
print(r.status_code)

cURL 失眠生成的代码

import requests

url = "https://public-api.pricempire.com/api/item/loadGraph/14/875"

payload = ""
headers = {
    "authority": "public-api.pricempire.com",
    "pragma": "no-cache",
    "cache-control": "no-cache",
    "sec-ch-ua": "^\^"
}

response = requests.request("GET", url, data=payload, headers=headers)

print(response.text)

前两次我运行它，它给了我状态 200，但之后它给了我 403，我试图找出原因，但我不知道。

Answer 1

此页面看起来不公开，因此需要提前进行某种身份验证。在这种情况下，您需要查看使用了哪种身份验证机制，并尝试使用 requests 库来重现该机制。

所以在浏览器中打开网络检查器，转到网络选项卡，右键单击页面请求并复制为 cURL。可能你会在 headers 中看到一些 bearer token（或者可能会有一些带有 session_id 的 cookie），将它附加到你的程序 headers/cookies 中，它应该可以工作。