1.Selenium是一个用于Web应用程序测试的工具.Selenium测试直接在浏览器中,就绪真正的用户才做一样,支持的浏览器包括IE,Mozilla Firefox,Safari,Google Chrome等
2.selenium使用场景
我们前面接触到的都是request+xpath组合对静态网页镜像请求和数据解析
若是JS生成的内容,可以尝试寻找API接口来获取数据
但是有的时候,网页数据由JS生成,有没有API接口,所以使用Selenium
3.selenium的安装
使用pip安装:
这就安装了最新的selenium
如果你想控制安装版本也可以:
pip install selenium == 3.0
4.selenium浏览器
Selenium也是一个强大的网络数据采集工具,他可以让浏览器自动加载页面,获取需要的数据.
Selenium需要配合第三方浏览器来使用
如果使用Chrome、FireFox或IE,我们可以看得到一个浏览器的窗口被打开、打开网站、然后执行代码中的操作.
但是,需要更高效的爬取,我们可以使用Phantomjs作为浏览器载体
5.selenium浏览器驱动
我们使用chrome作为selenium的浏览器
我们需要下载Chromedriver,可以从下面下载
chromedriver下载地址:http://npm.taobao.org/mirrors/chromedriver
我们要下载对于浏览器的版本我们查看浏览器的版本
然后我们到网址里面寻找对于的版本
使用的时候拖到你的项目里面,就可以用了.