python多进程的主要方式有两种,一种是使用os模块的fork方法,另一种方法是使用multiprocessing模块,这两种方法的就别在于前者仅适用于Unix/Linux操作系统,后者是跨平台的实现方式
1.使用fork方法实现
代码语言：javascript复制- fork方法来自Unix/Linux操作系统中提供的一个fork系统调用,这个方法非常特殊,普通方法都是调用一次,返回一次,而fork方法是调用一次,返回两次,原因在于操作系统将当前进程(父进程)复制出一份进程(子进程),这两个进程几乎完全相同,所以fork在两个进程中都返回,子进程中返回0,父进程中返回子进程的id,如以下代码 import os
if __name__ == "__main__":
print("current Process (%s) start ..."%(os.getpid()))
pid = os.fork()
if pid < 0:
print("error in fork")
elif pid == 0:
print("I am a child process (%s) and my parent process os(%s)"%(os.getpi d(),os.getppid()))
else:
print("I (%s) created a child process (%s)."%(os.getpid(),pid))- 运行结果如下: current Process (21039) start … I (21039) created a child process (21040). [root@izhqmn61154vmrz pythonDemo]# I am a child process (21040) and my parent process os(1) 可以看出fork创建了一个新进程,用pid区分父进程和子进程,分别在其中运行对应的任务
2.使用multiprocessing模块实现
代码语言：javascript复制 - multiprocessing提供了一个Process类来描述一个进程对象,创建子进程时,只需要传入一个执行函数和函数的参数,即可以完成一个Procees实例的创建,调用start方法启动,用join()方法让主线程等待线程执行完毕 from multiprocessing import Process
import os
def run_process(name):
print("Child process %s (%s) Running"%(name,os.getpid()))
if __name__ == "__main__":
print("Parent process %s."%(os.getpid()))
for i in range(5):
p = Process(target=run_process,args=(str(i),))
print("Process will start.")
p.start()
p.join()
print("Process end")- 运行结果如下 Parent process 21073. Process will start. Process will start. Process will start. Process will start. Process will start. Child process 2 (21076) Running Child process 3 (21077) Running Child process 0 (21074) Running Child process 4 (21078) Running Process end Child process 1 (21075) Running
使用线程池
代码语言：javascript复制- multiprocessing模块提供了一个Pool类来代表进程池对象,它可以提供指定数量的进程供用户调用,默认大小是CPU的核数.当有新的请求提交到Pool时,如果池还没有满,就会提供一个新的进程来执行该请求;但如果池中的进程数已经达到最大值,请求就会等待,知道池中有进程结束,才会提供新的进程来处理 import os,time,random
def run_task(name):
print("Task %s (pid = %s) is running..."%(name,os.getpid()))
time.sleep(random.random()*3)
print("Task %s end."%(name))
if __name__ =="__main__":
print("Current process %s."%os.getpid())
p = Pool(processes=3)
for i in range(5):
p.apply_async(run_task,args=(i,))
print("Waiting for all subprocesses done...")
p.close()
p.join()
print("All subprocesses done")- 运行结果如下 Current process 21127. Waiting for all subprocesses done… Task 0 (pid = 21129) is running… Task 1 (pid = 21130) is running… Task 2 (pid = 21128) is running… Task 1 end. Task 3 (pid = 21130) is running… Task 2 end. Task 4 (pid = 21128) is running… Task 4 end. Task 0 end. Task 3 end. All subprocesses done
可以看出,由于制定了进程池中进程的数量为3,当调用的线程多余3个时,会阻塞
