利用 pip 安装: pip install requests


爬虫——requests杂记
基本用法

!!!注意:requests得到的网页要加个  .text  才能看见源码。


requests上传数据是用post方法:

对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。

爬虫——requests杂记
post上传

requests上传url参数是get:

爬虫——requests杂记
get上传url参数

结果是:   'http://httpbin.org/get/?key1=value1/key2=value1', 就是和前面url拼接下,得到一个新网址


Session

在以上的请求中,每次请求其实都相当于发起了一个新的请求。也就是相当于我们每个请求都用了不同的浏览器单独打开的效果。也就是它并不是指的一个会话,即使请求的是同一个网址。

那么在一些站点中,我们需要保持一个持久的会话怎么办呢?就像用一个浏览器逛淘宝一样,在不同的选项卡之间跳转,这样其实就是建立了一个长久会话。

爬虫——requests杂记

这样我们在站点里访问的网页的cookies都一样了,比如淘宝你的密码,点开一个数码区的网页也是这个点开生活区也是。


SSL证书验证:

现在随处可见 https 开头的网站,Requests可以为HTTPS请求验证SSL证书,就像web浏览器一样。要想检查某个主机的SSL证书,你可以使用 verify 参数

r = requests.get('https://kyfw.12306.cn/otn/', verify=True) 

这个参数默认是开启的,如果报:

requests.exceptions.SSLError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)

代表这个网站的SSL证书 是无效的,比如12306的是中国颁发的,国际不认可。

相关文章: