协程:
单线程下实现并发 并发 = 切换 + 保存状态
1.遇到IO切, 提高效率
2.遇到计算切, 并没有提高效率
1.协程本质:
协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,以此来提升效率。
为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案:
1. 可以控制多个任务之间的切换,切换之前将任务的状态保存下来,以便重新运行时,可以基于暂停的位置继续执行。
2. 作为1的补充:可以检测io操作,在遇到io操作的情况下才发生切换
2.强调:
1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)
3.优点:
1. 协程的切换开销更小,属于程序级别的切换,操作系统完全感知不到,因而更加轻量级
2. 单线程内就可以实现并发的效果,最大限度地利用cpu
4.缺点:
1. 协程的本质是单线程下,无法利用多核,可以是一个程序开启多个进程,每个进程内开启多个线程,每个线程内开启协程
2. 协程指的是单个线程,因而一旦协程出现阻塞,将会阻塞整个线程
5.总结:
1.必须在只有一个单线程里实现并发
2.修改共享数据不需加锁
3.用户程序里自己保存多个控制流的上下文栈
4.附加:一个协程遇到IO操作自动切换到其它协程(如何实现检测IO,yield、greenlet都无法实现,就用到了gevent模块(select机制))
单线程下实现并发:
1.yield # yield 遇到io 不能监测到 切换 # 没有io 去切换,会降低执行速度
2.greenlet 模块 # greenlet 遇到io 不能监测到 切换 # 没有io 去切换,会降低执行速度
pip3 install greenlet
greenlet 比yield 好 但是还是不好 遇到io不会切
g1 = greenlet(eat)
g1.switch('alice')
g1.switch()
3.gevent 模块
pip3 install gevent
gevent:封装了greenlet模块,但是他能检测到io 自动切
加了补丁:from gevent import monkey;monkey.patch_all()
遇到time.sleep(2) 才会切,否则只有遇到gevent.sleep(2) 才会切,所以必须加补丁
g1 = gevent.spawn(eat,'alice')
g1.join() # 等待g1结束
gevent.joinall([g1,g2])
g1.value # 拿到func1的返回值
补丁说明:
from gevent import monkey;monkey.patch_all()
1.必须放到被打补丁者的前面,如time,socket模块之前
2.要用gevent,需要将from gevent import monkey;monkey.patch_all()放到文件的开头
# 通过gevent实现单线程下的socket并发(from gevent import monkey;monkey.patch_all()一定要放到导入socket模块之前,
否则gevent无法识别socket的阻塞)
![]()
1 import time
2 def consumer(res):
3 '''任务1:接收数据,处理数据'''
4 pass
5
6 def producer():
7 '''任务2:生产数据'''
8 res=[]
9 for i in range(10000000):
10 res.append(i)
11 return res
12
13 start=time.time()
14 #串行执行
15 res=producer()
16 consumer(res) #写成consumer(producer())会降低执行效率
17 # consumer(producer())
18 stop=time.time()
19 print(stop-start) #1.5536692142486572
计算型的切换降低运行效率