我从 Python 中的 requests 模块获得的 html 代码与我从浏览器获得的同一网页的源代码不同

Question

在 Python 中使用 requests.get() 方法时，我得到的响应对象产生的 html 代码与我从浏览器 (Chrome) 获得的源代码不同。这让我很难使用 BeautifulSoup 模块解析代码。

有什么解决办法吗？我有什么错误吗？

下面给出的是我的 python 脚本。我从 chrome 获得的网页源代码在 r 类中有一个 a id，该类有一个 href 链接。所以我想我会得到一个链接。但它一直返回一个空列表。

import requests,bs4,webbrowser
res=requests.get('https://www.google.com/search?q=wind+river')
soup=bs4.BeautifulSoup(res.text, 'lxml')
sel=soup.select('.r a')
sel[0].get('href')

Answer 1

Google 从 JavaScript 加载，因此请求无法加载结果。

试试：

from selenium import webdriver
import bs4

import time
url = 'https://www.google.com/search?q=wind+river'
driver = webdriver.Firefox(executable_path='c:/program/geckodriver.exe')
driver.get(url)
time.sleep(3)
driver.page_source
soup= bs4.BeautifulSoup(driver.page_source, 'lxml')
driver.close()
sel=soup.select('.r a')
print(sel[0].get('href'))

打印：

https://www.imdb.com/title/tt5362988/

注意 selenium：您需要 selenium 和 geckodriver 并且在此代码中 geckodriver 设置为从 c:/program/geckodriver.exe 导入