Beautifulsoup - 在页面源中找不到元素（href）

Question

我在从页面中抓取一个元素时遇到问题 - 一个 href。该元素位于页面底部，最后一节“Dowiedz się więcej o Pracodawcy:”，然后我们有这个超链接“Zobacz profile pracodawcy”。我尝试通过 id、class、CSS 选择器找到它 - 它不起作用。

有趣的是，当我从我的汤中收集每个 href 时，它不包含这个特定的 url。下面是我的代码并链接到此页面。

Link page

driver = webdriver.Chrome(PATH)
driver.get(url)
btn = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'b1cb9caz')))
btn.click()
btn = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, 'bm6u2cu')))
btn.click()

html = driver.page_source
bs = BeautifulSoup(html, "html.parser")
employer_url = bs.find('a', {'data-test': 'button-employer-profile'})

print(employer_url)

Answer 1

滚动到页面底部并然后提取元素怎么样？

方法如下：

from selenium import webdriver

options = webdriver.ChromeOptions()
options.headless = True
driver = webdriver.Chrome(options=options)

driver.get("https://www.pracuj.pl/praca/mlodszy-pracownik-utrzymania-ruchu-mechatronik-automatyk-walbrzych,oferta,1000823887?s=d8890351#company-details")
driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")

print(driver.find_element_by_css_selector(".employer-profilelnRpod").get_property("href"))
driver.quit()

输出：

https://pracodawcy.pracuj.pl/company/20000293/profile