(1) urllib.request:最基本的HTTP请求模块,用来模拟发送请求,就像在浏览器里输入网址然后回车一样
(2) urllib.error:异常处理模块,如果出现请求错误,我们可以捕获这些异常,然后进行重试或其他操作以保证程序不会意外终止
(3) urllib.parse:一个工具模块,提供了许多 URL 处理方法,比如拆分、解析、合并等
(4) urllib.robotparser:主要是用来识别网站的 robots.txt 文件,然后判断哪些网站可以爬,哪些网站不可以爬,它其实用得比较少

 

 

 

 

 

 

    

相关文章:

  • 2021-07-04
  • 2022-12-23
  • 2021-10-11
  • 2022-12-23
  • 2022-12-23
  • 2021-08-19
猜你喜欢
  • 2021-09-11
  • 2022-01-14
  • 2021-05-25
  • 2021-12-21
相关资源
相似解决方案