爬虫——requests的使用

1.安装requests库：在终端输入pip install requests;
2.验证requests库是否安装成功：在python命令行输入import requests，若没有任何错误提示，表示安装成功。
3.requests中的get方法就可以实现简单网页的请求，如请求百度首页：

import requests
response=requests.get('https://www.baidu.com')
print(response.text)

运行结果如下:
爬虫——requests的使用
4.利用requests构建GRT请求：

import requests
r=requests.get('http://httpbin.org/get')
print(r.text)

运行结果：
爬虫——requests的使用
可以看出返回结果中包含请求头、URL、IP等信息。
对于GET请求加一些额外的信息，通常的信息数据都是用字典来存储的，利用param参数就可以加入，示列如下：

import requests
data={
          'name':'cute_xiao_bai',
          'age':'23'
}#构造一个数据字典
r=response.get('http://httpbin.org/get',params=data)
print(r.text)

运行结果如下：
爬虫——requests的使用
可以看出，网页返回类型为str类型，为JSON格式。可以调用json()方法，得到一个字典格式。示列如下：

import requests
r=requests.get('http://httpbin.org/get')
print(type(r.text))
print(r.json())
print(type(r.json()))

运行结果如下：
爬虫——requests的使用
可以发现，调用json()方法，可以将返回结果是JSON格式的字符串转化为字典。