带有 BS4 和 BeautifulSoup 的 Python WebScraper

Question

我正在尝试使用 BS4 创建一个抓取特定日期的网络爬虫。我能够构建 webscraper，但它拉错了日期。

我遇到的麻烦是他们共享同一个类，我尝试了 id 但我得到了 [] 的返回结果。我还能如何指定这个日期而不指定其他日期？

import requests
from bs4 import BeautifulSoup

URL = 'https://nemsis.org/state-data-managers/state-map-v3/colorado'
page = requests.get(URL)

soup = BeautifulSoup(page.content, 'html.parser')

date = soup.find('span',class_='state-updated-on')
date = date.text

print(date)  

它返回February 16, 2017，但我正在寻找09/04/2019

Answer 1

页面是动态加载的，因此requests 不支持它。我们可以Selenium 来替代抓取页面。

安装它：pip install selenium。

从here下载正确的ChromeDriver。

from time import sleep
from selenium import webdriver
from bs4 import BeautifulSoup

URL = "https://nemsis.org/state-data-managers/state-map-v3/colorado"
driver = webdriver.Chrome(r"c:\path\to\chromedriver.exe")
driver.get(URL)
# Wait for the page to fully render
sleep(5)

soup = BeautifulSoup(driver.page_source, "html.parser")
print(soup.find("span", id="commitDate-refs/heads/release-3.4.0-3").text)

driver.close()

输出：

9/4/2019