python - 如何在python网络抓取中将请求有效负载作为参数发送？

Question

我正在使用以下website 的请求在 python 中进行网络抓取。

当您将加载任何燃料类型的数据时，在检查元素中，您将看到由名称 getFilteredInventery 触发的 API。

假设您选择了 Diesel，那么我想抓取在给定 API 的响应部分中可见的所有数据。但我不能简单地打开它。在 headers 部分，您将看到请求有效负载，我想我也将其作为参数发送。

我浏览了互联网，发现我可以将请求有效负载作为请求中的参数发送。

这是我的代码：

payload = {"Search": {"FuelType": ["Diesel"]}, "Sort": {"Featured": "true"}}
url = "https://easyauto123.com.au/api/v1/getFilteredInventory"
page = requests.get(url, params=payload)
data = page.json()

但页面显示 400 错误。那么，我该如何解决这个错误呢？

API 链接：https://easyauto123.com.au/api/v1/getFilteredInventory

Answer 1

您在requests 库中发布的代码示例导致向URL 发出GET 请求，其中您定义的“有效负载”转换为查询参数并返回404。您可以像这样自己查看：

payload = {"Search": {"FuelType": ["Diesel"]}, "Sort": {"Featured": "true"}}
url = "https://easyauto123.com.au/api/v1/getFilteredInventory"
page = requests.get(url, params=payload)

print(page.url)
# => https://easyauto123.com.au/api/v1/getFilteredInventory?Search=FuelType&Sort=Featured
print(page.status_code)

API 需要一个带有 JSON 负载的 POST 请求，这通常在请求期间由 HTTP 标头 Content-Type 具有值 application/json 表示。）requests 库公开了此功能：

page = requests.post(url, json=payload)

您可以通过返回对象的存储request 属性评估用于特定请求的请求标头：

page = requests.post(url, json=payload)

print(page.request.headers)
# => {'User-Agent': 'python-requests/2.25.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive', 'Content-Length': '66', 'Content-Type': 'application/json'

print(page.request.headers['Content-Type'])
# => application/json

您可以将此与以下结果的请求进行比较：

page = requests.post(url, params=payload)
print(page.request.url)
# => https://easyauto123.com.au/api/v1/getFilteredInventory?Search=FuelType&Sort=Featured

print(page.request.headers)
# => {'User-Agent': 'python-requests/2.25.1', 'Accept-Encoding': 'gzip, deflate', 'Accept': '*/*', 'Connection': 'keep-alive', 'Content-Length': '0'}

您可能会注意到此请求成功，但响应正文不同。另外，请注意 Content-Length 标头的值是 0（与 66 相比）并且 Content-Type 标头未设置。 Content-Length 标头表示有效负载的大小，在本例中为 0。

Answer 2

你变种：

page = requests.get(url, params=payload)

试试这个变种：

page = requests.post(url, json=payload)