使用 BeautifulSoup 进行网页抓取，得到空列表

Question

我正在通过从https://www.wunderground.com/（随机搜索邮政编码）获取基本天气数据（例如每日高温/低温）来练习网络爬虫。

我尝试了我的代码的各种变体，但它一直返回一个空列表，温度应该在哪里。老实说，我只是不知道自己哪里出错了。谁能指出我正确的方向？

import requests
from bs4 import BeautifulSoup
response=requests.get('https://www.wunderground.com/cgi-bin/findweather/getForecast?query=76502')
response_data = BeautifulSoup(response.content, 'html.parser')
results=response_data.select("strong.high")

我还尝试过执行以下操作以及其他各种变体：

results = response_data.find_all('strong', class_ = 'high')
results = response_data.select('div.small_6 columns > strong.high' )

Answer 1

您要解析的这些数据是由 JavaScript 动态创建的，requests 无法处理。您应该将selenium 与PhantomJS 或任何其他驱动程序一起使用。下面是使用selenium 和Chromedriver 的示例：

from selenium import webdriver
from bs4 import BeautifulSoup

url='https://www.wunderground.com/cgi-bin/findweather/getForecast?query=76502'
driver = webdriver.Chrome()
driver.get(url)
html = driver.page_source

soup = BeautifulSoup(html, 'html.parser')

检查元素，可以使用以下方法找到最低、最高和当前温度：

high = soup.find('strong', {'class':'high'}).text
low = soup.find('strong', {'class':'low'}).text
now = soup.find('span', {'data-variable':'temperature'}).find('span').text

---

>>> low, high, now
('25', '37', '36.5')