从带有漂亮汤的单个列表中的下拉列表中查找值

Question

我是网络抓取的新手，并且有一个带有下拉菜单的汽车网站。如何在下拉菜单中选择汽车品牌（例如 BMW），然后点击查看所有具有该品牌的汽车？ Beautifulsoup 甚至可以做到这一点，还是我需要 Selenium？

网站是这个https://www.leasingmarkt.ch/listing。我设法获得了每个汽车品牌需要输入的data_values（数字），但我不知道如何将它们输入到网站然后点击？

for x in soup.find_all("div", class_ = "dropdown manufacturer-dropdown"):
    for car in x.find_all('li'):  
        try:
            cars_id[car.find("span").text] = car.get('data-value')
        except AttributeError:
            continue

我认为只需更改 url 以使汽车品牌的编号出现在链接中即可。但是如何选择然后单击（如果可能的话，使用BeautifulSoup）？

Answer 1

如果你使用 Selenium，应该很简单：

driver.implicitly_wait(20)  # Add this at least, if it won't work add explicit wait
dropdown = driver.find_element_by_id("manufacturer")
dropdown.click()
input_field = driver.find_element_by_css_selector(".select.searchable.btn.manufacturer-dropdown>.selection").send_keys("bmw")

使用等待https://selenium-python.readthedocs.io/waits.html

如果隐式等待不适用于这种情况，请使用显式等待：

from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.common.by import By

wait = WebDriverWait(driver, timeout=30)
wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, "#manufacturer")))
dropdown = driver.find_element_by_id("manufacturer")
dropdown.click()
wait.until(EC.element_to_be_clickable((By.CSS_SELECTOR, ".select.searchable.btn.manufacturer-dropdown>.selection")))
input_field = driver.find_element_by_css_selector(".select.searchable.btn.manufacturer-dropdown>.selection")
input_field.clear()
input_field.send_keys("bmw")

尝试 2： 对于制造商领域，请尝试几个定位器：#manufacturer> .select>.selection 或 #manufacturer> .select

如果给定的字段不起作用，也可以尝试使用#manufacturer> .select 作为输入字段。

另外，对于第一个元素，请尝试将 element_to_be_clickable 替换为 visibility_of_element_located