【发布时间】:2021-08-05 01:29:56
【问题描述】:
from lxml import etree
from selenium import webdriver
url = 'https://mountainproject.com'
driver.get(url) #I know this makes a request
html = driver.page_source #does this line also make a request?
dom = etree.HTML(html) #does this line also make a request?
我不想对 url 发出很多请求,所以能否澄清第 5/6 行代码是否向服务器发出请求?
谢谢。
【问题讨论】:
-
driver.page_source 与浏览器通信 webdriver 希望返回页面源。浏览器返回它。浏览器不会为此上网......但网络驱动程序确实通过有线协议(本地)与浏览器通信我不熟悉etree,但我会说那里也没有请求。这假定 webdriver 的本地实例。使用远程 webdriver 命令通过 Internet 发送到托管 webdrivers 的服务器。另见:w3.org/TR/webdriver/#get-page-source
标签: python selenium web-scraping lxml