【目录】
一、 multiprocessing模块介绍
二、 process类的介绍
三、 process类的使用
四、僵尸进程和孤儿进程
五 、守护进程
六 、进程同步(互斥锁)
七 、队列--生产者消费者模型
# python中的多线程无法利用多核优势,如果想要充分地使用多核CPU的资源(os.cpu_count()查看),在python中大部分情况需要使用多进程。
# Python提供了multiprocessing 模块——
# 作用:multiprocessing模块用来开启子进程,并在子进程中执行我们定制的任务(比如函数),该模块与多线程模块threading的编程接口类似
# 功能:multiprocessing模块的功能众多:支持子进程、通信和共享数据、执行不同形式的同步,提供了Process、Queue、Pipe、Lock等组件。
PS:需要再次强调的一点是:与线程不同,进程没有任何共享状态,进程修改的数据,改动仅限于该进程内。
二、 process类的介绍
1、创建进程的 类 process
Process([group [, target [, name [, args [, kwargs]]]]]),
由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)
强调:
1、需要使用关键字的方式来指定参数 eg: Process(target=task, args=('jason',))
2、group 参数未使用,值始终为None
3、target 表示调用对象,即子进程要执行的任务
4、args 表示调用对象target函数的位置参数元组,args=(1,2,'egon',) ,(元组形式,用逗号隔开元素,末尾一定必须有逗号)
5、kwargs 表示调用对象的字典,kwargs={'name':'egon','age':18}
6、name 为子进程的名称
2、方法介绍
1、p.start()
启动进程,并调用该子进程中的p.run()
2、p.run()
进程启动时运行的方法,正是它去调用target指定的函数,我们自定义类的类中一定要实现该方法
3、p.terminate()
强制终止进程p,不会进行任何清理操作,如果p创建了子进程,该子进程就成了僵尸进程,使用该方法需要特别小心这种情况。
如果p还保存了一个锁那么也将不会被释放,进而导致死锁
4、p.is_alive()
如果p仍然运行,返回True
5、p.join([timeout])
主线程等待p终止(强调:是主线程处于等的状态,而p是处于运行的状态)。
timeout是可选的超时时间,需要强调的是,p.join只能join住start开启的进程,而不能join住run开启的进程
3、属性介绍
1、p.daemon
默认值为False,如果设为True,代表p为后台运行的守护进程,当p的父进程终止时,p也随之终止,
并且设定为True后,p不能创建自己的新进程,必须在p.start()之前设置
2、p.name 进程的名称
3、p.pid 当前进程的pid
4、p.ppid 当前进程的父进程的pid
5、p.exitcode
进程在运行时为None、如果为–N,表示被信号N结束(了解即可)
6、p.authkey
进程的身份验证键,默认是由os.urandom()随机生成的32字符的字符串。
这个键的用途是为涉及网络连接的底层进程间通信提供安全性,这类连接只有在具有相同的身份验证键时才能成功(了解即可)
三、 process类的使用
# windows操作系统下 创建进程一定要在main内创建,
因为windows下创建进程类似于模块导入的方式,会从上往下依次执行代码
# linux中则是直接将代码完整地拷贝一份
注意:在windows中,Process() 必须放到 # if __name__ == '__main__':下
1、创建进程的两种方式
(1)、类实例化产生对象
# 第一种
from multiprocessing import Process
import time
def task(name):
print('%s is running'%name)
time.sleep(3)
print('%s is over'%name)
if __name__ == '__main__':
# 1 创建一个对象
p = Process(target=task, args=('jason',))
# 容器类型哪怕里面只有1个元素 建议要用逗号隔开
# 2 开启进程
p.start() # 告诉操作系统帮你创建一个进程 异步
print('主')
(2)、类的继承 run方法
# 第二种方式 类的继承
from multiprocessing import Process
import time
class MyProcess(Process):
def run(self):
print('hello bf girl')
time.sleep(1)
print('get out!')
if __name__ == '__main__':
p = MyProcess()
p.start()
print('主')
2、进程之间的内存空间是隔离的
from multiprocessing import Process
n=100 #在windows系统中应该把全局变量定义在if __name__ == '__main__'之上就可以了
def work():
global n
n=0
print('子进程内: ',n)
if __name__ == '__main__':
p=Process(target=work)
p.start()
print('主进程内: ',n)
3、Process对象的join方法——join:是主进程在等,等待子进程结束
![]()
from multiprocessing import Process
import time
import random
class Piao(Process):
def __init__(self,name):
self.name=name
super().__init__()
def run(self):
print('%s is piaoing' %self.name)
time.sleep(random.randrange(1,3))
print('%s is piao end' %self.name)
p=Piao('egon')
p.start()
p.join(0.0001) #等待p停止,等0.0001秒就不再等了
print('开始')
join:主进程等,等待子进程结束
例子一