urllib.request模块

  • urllib.request.urlopen(url) 向网站发起一个请求并获取响应,但不能重构User——Agent和data。
  • **a.rend()**读取响应的内容
  • **a,rend().decode(“utf-8”)**对响应进行的内容编码读取
  • urllib.request.Request"网址",headers=“字典”) 创建响应对象再对它用urllib.request.urlopen(url)
  • a.getcode()获取状态码
  • a.geturl() 返回实际数据的URL(防止重定向问题)
  • request.urlretrieve(url,‘文件名’)在“文件名”文件写入url的内容

urllib.parse模块

有时输入的汉字需要转换为ascll码才能访问网站

  • urllib.parse.urlencode(a) a为字典python爬虫urllib(自用)
  • urllib.parse.quote(key) key为字符串python爬虫urllib(自用)

相关文章:

  • 2021-05-22
  • 2021-06-01
  • 2022-12-23
  • 2021-11-06
  • 2022-12-23
  • 2021-09-17
  • 2021-12-18
  • 2021-11-30
猜你喜欢
  • 2021-12-13
  • 2022-02-05
  • 2022-12-23
  • 2022-12-23
  • 2021-09-25
  • 2021-10-09
  • 2021-10-20
相关资源
相似解决方案