Python BeautifulSoup 汤.find

Question

我想使用 urllib 和 BeautifulSoup 从网站上抓取一些特定数据。 我试图获取文本“190.0 kg”。正如您在我的代码中看到的那样，我已经尝试过使用attrs={'class': 'col-md-7'} 但这会返回错误的结果。有没有办法指定我希望它返回<h3>之间的文本？

from urllib.request import urlopen
from bs4 import BeautifulSoup

# specify the url
quote_page = 'https://styrkeloft.no/live.styrkeloft.no/v2/?test-stevne'

# query the website and return the html to the variable 'page'    
page = urlopen(quote_page)

# parse the html using beautiful soup     
soup = BeautifulSoup(page, 'html.parser')

# take out the <div> of name and get its value    
Weight_box = soup.find('div', attrs={'class': 'col-md-7'})

name = name_box.text.strip() 
print (name)

Answer 1

由于此内容是动态生成的，因此无法使用requests 模块访问该数据。

您可以使用selenium webdriver 来完成此操作：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup

chrome_options = Options()
chrome_options.add_argument("--headless")

chrome_driver = "path_to_chromedriver"

driver = webdriver.Chrome(chrome_options=chrome_options,executable_path=chrome_driver)
driver.get('https://styrkeloft.no/live.styrkeloft.no/v2/?test-stevne')
html = driver.page_source
soup = BeautifulSoup(html, "lxml")
current_lifter = soup.find("div", {"id":"current_lifter"})
value = current_lifter.find_all("div", {'class':'row'})[2].find_all("h3")[0].text
driver.quit()

print(value)

请确保在您的机器中安装了 chromedriver 可执行文件。