线程,协程对比和Python爬虫实战说明

本文最后更新于2018-7-30,可能会因为没有更新而失效。如已失效或需要修正,请联系我!

这篇文章写的是我对线程和协程的理解,有错误之处欢迎指出。

举一个餐馆的例子。我们把一个餐厅当做一个进程,如果这个餐厅只有1个服务员,那么这个餐厅是
单线程的;如果这个餐厅有2个服务员,那么这个餐厅是双线程的。
如果这个餐厅的服务员像海底捞的服务员一样,一次只服务一桌的客人,在这桌的客人离开前不会服务
下一桌的客人,那么我们称这个线程是阻塞的。如果一个服务员同时服务多桌客人,那么我们称这个线程
是非阻塞的。
实现了非阻塞的线程我们称之为协程,也就是说协程是依赖线程的存在。
下面就是Python的爬虫实战对比说明
本来想使用aiohttp库的,但为了对比效果更好,我使用requests库
我先写了一个本地的flask应用,在返回网页前等待3秒模拟真实网络爬虫
线程,协程对比和Python爬虫实战说明
单线程爬虫:
线程,协程对比和Python爬虫实战说明
共花费301

多线程爬虫:
线程,协程对比和Python爬虫实战说明
共花费75

单线程协程爬虫:
线程,协程对比和Python爬虫实战说明
只花费9
可以看出单线程的协程爬虫速度已经非常快了

多线程协程爬虫:
线程,协程对比和Python爬虫实战说明
只花费3

总结

多线程和协程结合,能够使得爬虫的速度达到极致
代码地址:https://github.com/zhang0peter/python-coroutine
欢迎大家关注我的GitHub:https://github.com/zhang0peter

参考资料:

相关文章:

  • 2022-12-23
  • 2021-07-01
  • 2021-12-10
  • 2022-12-23
  • 2021-08-20
  • 2021-11-01
  • 2022-12-23
  • 2021-08-10
猜你喜欢
  • 2022-12-23
  • 2021-07-20
  • 2021-12-12
  • 2022-12-23
  • 2021-08-06
  • 2021-08-28
  • 2021-07-22
相关资源
相似解决方案