我正在尝试从该网站 scrape 年鉴： http://www.presanse.fr/CISME/annuaire.aspx 为了向您显示我需要抓取的信息，请单击“tous les services”，然后将显示一个列表，然后单击一个项目（例如 AST-BTP），一个页面将显示很多信息（我需要所有信息）。 我尝试检查代码，我注意到有 包含此信息，但我无法 scrape 它，我的脚本返回“无” 感谢您的帮助！
【问题讨论】：
标签： python beautifulsoup screen-scraping
您想要的信息是使用 JavaScript 脚本加载的，简单地使用刮板发出请求是行不通的。
您将需要使用类似Selenium 的方式模拟单击按钮
【讨论】：
如前所述，要做到这一点，除了美丽的汤外，您还需要使用硒。
1) 在此处https://github.com/mozilla/geckodriver/releases下载 geckoDriver (fire fox)
2) 解压exe并将其添加到您的系统路径
3) 使用 pip install selenium
安装 selenium4) 运行以下命令：
from bs4 import BeautifulSoup
from selenium import webdriver
import time
driver = webdriver.Firefox()
driver.get('http://www.presanse.fr/CISME/annuaire.aspx')
availbutton = driver.find_element_by_id('ctl00_cphMiddle_UC_RechercheParCarte1_linkTousLesServices')
availbutton.click()
time.sleep(2)
html = driver.page_source
soup = BeautifulSoup(html,'lxml')
targetDiv = soup.find_all("div", {"class": "resultatTable"})
targetsoup = BeautifulSoup(str(targetDiv),'lxml')
for span in targetsoup:
print(span.text)
driver.close()
您可以与之前动态创建的元素进行交互，也可以使用 button.click() 点击 DOM 元素。我添加了 2 秒的延迟以允许表格加载，因为我最初仍然得到空白而没有时间加载！
【讨论】：