【发布时间】：2019-03-05 10:50:09
【问题描述】：
我目前正在尝试从 Lazada 电子商务平台抓取产品 URL，但是我从网站获取随机链接而不是产品链接。
https://www.lazada.com.my/oldtown-white-coffee/?langFlag=en&q=All-Products&from=wangpu&pageTypeId=2
我的代码如下：
from bs4 import BeautifulSoup, SoupStrainer
import requests
url = "https://www.lazada.com.my/oldtown-white-coffee/?langFlag=en&q=All-
Products&from=wangpu&pageTypeId=2"
page = requests.get(url)
data = page.text
soup = BeautifulSoup(data)
links = soup.find_all('div', {'class': 'c16H9d'})
for link in soup.find_all("a"):
print(link.get("href"))
我从这段代码中得到的结果（这不是我想要的）：
这是我需要的链接部分，我想列出产品页面中的所有产品 URL。
我希望你们能帮助我，我知道这很简单它似乎不起作用，从昨天开始一直在研究这个。
【问题讨论】：
-
现在开始：
for link in soup.find_all("a"):请注意，您没有在任何地方使用links。 -
我尝试更改为链接而不是链接，但它仍然给我相同的输出。无论如何，根据 chitown88 的说法，因为它是一个动态页面，我们需要解析 json obj，并且给出的解决方案对我来说效果很好，谢谢！
标签： python web-scraping beautifulsoup e-commerce