首先pip安装selenium,然后下载浏览器驱动

 

WebDrive下载地址

chrome的webdriver:http://chromedriver.storage.googleapis.com/index.html

Firefox Firefox驱动下载地址为:https://github.com/mozilla/geckodriver/releases/

根据操作系统,以及浏览器版本,下载相应的驱动,并将下载的webdriver的路径设置到环境变量中

Scrapy对接Selenium

Scrapy对接Selenium

 Scrapy对接Selenium

 

 将下载好的zip解压出来、直接将里面的exe文件放到运行环境的目录下即可

Scrapy对接Selenium

 

 

 

简单使用

在中间件进行操作,不去调用下载器,直接返回一个response对象

导入包:from selenium import webdriver

Scrapy对接Selenium

 

 

 

无窗口模式

再导入一个包:from selenium.webdriver.chrome.options import Options

Scrapy对接Selenium

Scrapy对接Selenium

相关文章:

  • 2022-12-23
  • 2022-02-04
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
  • 2021-04-28
  • 2022-12-23
  • 2021-11-24
  • 2021-10-12
相关资源
相似解决方案