request.get()函数原型

Python北理工mooc爬虫笔记之requests库

request对象的属性方法

Python北理工mooc爬虫笔记之requests库 

r.text与r.content的区别

r.text是程序根据猜测的响应内容编码方式来编写的,也就是r.encoding,这个编码方式是从返回信息中的headers中获取到的,如果headers中没有,那么则默认为ISO-8859-1,而r.apparent_encoding是从网页html文件中信息解析出来的编码,一般来说使用r.text获取网页的信息,如果r.text出现乱码,才会使用r.content.decoding("r.apparent_encoding")来读取网页信息

 Requests库的异常

Python北理工mooc爬虫笔记之requests库

Python北理工mooc爬虫笔记之requests库

爬取网页的通用代码框架

Python北理工mooc爬虫笔记之requests库

Request库的基本方法

Python北理工mooc爬虫笔记之requests库

http协议 

Python北理工mooc爬虫笔记之requests库

其中URL格式为

Python北理工mooc爬虫笔记之requests库

URL举例

Python北理工mooc爬虫笔记之requests库

HTTP对资源的操作种类

Python北理工mooc爬虫笔记之requests库

补充:当我们发现我们要访问的资源很大时,让服务器返回信息需要花费很大的代价时,我们可以使用head让服务器返回资源的头部信息。

PATCH和PUT的区别

Python北理工mooc爬虫笔记之requests库

Request库的head()方法

Python北理工mooc爬虫笔记之requests库

 Request库中的post()方法

Python北理工mooc爬虫笔记之requests库

 

Python北理工mooc爬虫笔记之requests库

 

Requests库的put方法

Python北理工mooc爬虫笔记之requests库

 

requests.request函数的原型

Python北理工mooc爬虫笔记之requests库

Python北理工mooc爬虫笔记之requests库

可以使用requests.request('GET',url)也可以使用requests.get(url),后者是将前者封装起来的方法

13个参数

1.params

Python北理工mooc爬虫笔记之requests库

我们提交的键值对会放在url链接里

2.data

Python北理工mooc爬虫笔记之requests库

 这时候我们的键值对会放在url链接对应的数据域里存储

3.json

html最经常使用的数据格式

Python北理工mooc爬虫笔记之requests库

4.headers

对应向某个http发起请求时的头字段,可以在请求时附加headers来伪装爬虫

Python北理工mooc爬虫笔记之requests库

 

 5和6.cookies和auth

 

Python北理工mooc爬虫笔记之requests库

 

7.files

Python北理工mooc爬虫笔记之requests库

8.timeout

Python北理工mooc爬虫笔记之requests库

9.proxies

Python北理工mooc爬虫笔记之requests库

 

剩下的参数为

Python北理工mooc爬虫笔记之requests库

 

requests.get函数

Python北理工mooc爬虫笔记之requests库

requests.head()函数

Python北理工mooc爬虫笔记之requests库

 

requests.post()函数

Python北理工mooc爬虫笔记之requests库

 

requests.delete()函数

 

Python北理工mooc爬虫笔记之requests库

 

为什么这些函数会把requests.request里的kwargs参数提到外面来呢?是因为提到外面的都是常用的,便于我们直接赋值

 

 

 

相关文章:

  • 2021-06-20
  • 2021-07-11
  • 2022-12-23
  • 2021-04-06
  • 2021-08-03
  • 2021-09-07
  • 2021-04-09
  • 2021-08-27
猜你喜欢
  • 2022-01-02
  • 2021-10-05
  • 2021-09-19
  • 2021-09-23
  • 2021-12-11
  • 2021-05-30
相关资源
相似解决方案