网页抓取搜索参数混淆

【问题标题】：Webscraping search parameter confusion网页抓取搜索参数混淆
【发布时间】：2021-03-07 17:03:06
【问题描述】：

我在从 html 代码中提取此价格时遇到问题。我知道通常代码会是这样的： productlist = soup.find('div', class_='插入类字符串') 你会如何建议设置 python 代码来提取它？我对使用 python 和 webscraping 还是很陌生。感谢您的宝贵时间和建议。

【问题讨论】：

print(soup.find("div", {"data-test": "product-price"}).getText())

标签： python-3.x web-scraping beautifulsoup python-requests

【解决方案1】：

你可以使用 html 类来抓取它：

productlist = soup.find(class_ = 'style_PriceFontSize-sc-17wlxvr-0 ceEMdT').get_text()

或：

productlust =  soup.find("div", {"data-test": "product-price"}).get_text()

【讨论】：

感谢您的回复！当我使用那些我得到一个异常，说'NoneType'对象没有属性'get_text'。如果我取消“get_text”，程序不会返回任何内容。
可以上传整页吗？
target.com/p/…
它不是完全相同的页面，但具有完全相同的结构。我正在尝试学习如何搜索结构更复杂的网页。如果您对除 beautifulsoup 文档之外的网站有任何建议（我很确定我看过那里的所有内容），请告诉我。