我还能如何通过代码访问市场的产品信息？

Question

为了从 Ali Express 上抓取产品，我可以在 Chrome 的控制台中运行 window.runParams.data 以非常轻松地访问所有信息。知道了这一点，我使用正则表达式直接从 Ali Express 的 HTML 中抓取产品信息，而无需模拟一百万次点击以使信息出现在我的屏幕上然后才提取它。

我正在尝试为另一个名为 Mercado Livre 的网站做同样的事情。问题是，每个产品都可以有变体，每个变体可能有也可能没有另一组通常超过 10 张图像。这是很多图像，不幸的是，我无法像访问 AliExpress 那样访问 window.runParams.data。这是我尝试时遇到的错误：

VM228:1 Uncaught TypeError: Cannot read property 'data' of undefined
    at <anonymous>:1:18

这可能无关紧要，但变化部分出现在按钮中：

https://produto.mercadolivre.com.br/MLB-1870995603-brinquedos-sensoriais-popit-bubble-fidget-52-pecas-_JM

或下拉菜单：

https://produto.mercadolivre.com.br/MLB-1862560460-kit-brinquedos-sensoriais-fidget-push-pop-it-49-pcs-_JM

在无需模拟点击的情况下，使用 Python 抓取所有这些图像的 URL 的最简单方法是什么？我查看了代码，但我很困惑，因为许多图像在变体之间共享，因此使用 Ctrl + F 查找 URL 并尝试找到每个变体的位置是不可能的。

所有缩略图 (for example this one) 就足够了，因为我可以将 URL 末尾的 R 替换为 F 并且它会变大，like this。

非常感谢！

Answer 1

您可以使用requests 和beautifulsoup 来做到这一点。

点击产品的变体后，数据将从 API 加载。您可以从该 API 获取所有信息。

prod_var_id 是变体 ID。

https://produto.mercadolivre.com.br/p/api/items?attributes={prod_var_id}&quantity=1&platform=ML&id=MLB1870995603&app=vip

这里我已经抓取了产品变体的链接，从链接中提取了prod_var_id，并通过替换上述API URL 中的prod_var_id 来向API 发出get 请求。

prod_var_id 出现在 URL 中 attributes= 之后

from bs4 import BeautifulSoup
import requests

headers = {"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36"}
url = 'https://produto.mercadolivre.com.br/MLB-1870995603-brinquedos-sensoriais-popit-bubble-fidget-52-pecas-_JM'

r = requests.get(url, headers=headers)
soup = BeautifulSoup(r.text, 'lxml')
a = soup.find_all('a', class_='ui-pdp-thumbnail ui-pdp-variations--thumbnail ui-pdp-thumbnail--NONE')

prod_var_id = a[0]['href'].split('attributes=')[-1]
api_url = f'https://produto.mercadolivre.com.br/p/api/items?attributes={prod_var_id}&quantity=1&platform=ML&id=MLB1870995603&app=vip'
resp = requests.get(api_url).json()

print(api_url)

https://produto.mercadolivre.com.br/p/api/items?attributes=COLOR_SECONDARY_COLOR:NTJwY3MtMDE=&quantity=1&platform=ML&id=MLB1870995603&app=vip

您可以向此 API 发出请求并提取您需要的任何数据。