Python3多进程 multiprocessing 模块实例详解

本文实例讲述了Python3多进程 multiprocessing 模块。分享给大家供大家参考，具体如下：

多进程 Multiprocessing 模块

multiprocessing 模块官方说明文档

Process 类

Process 类用来描述一个进程对象。创建子进程的时候，只需要传入一个执行函数和函数的参数即可完成 Process 示例的创建。

star() 方法启动进程，
join() 方法实现进程间的同步，等待所有进程退出。
close() 用来阻止多余的进程涌入进程池 Pool 造成进程阻塞。

multiprocessing.Process(group=None, target=None, name=None, args=(), kwargs={}, *, daemon=None)

target 是函数名字，需要调用的函数
args 函数需要的参数，以 tuple 的形式传入

示例：

import multiprocessingimport osdef run_proc(name):  print('Child process {0} {1} Running '.format(name, os.getpid()))if __name__ == '__main__':  print('Parent process {0} is Running'.format(os.getpid()))  for i in range(5):    p = multiprocessing.Process(target=run_proc, args=(str(i),))    print('process start')    p.start()  p.join()  print('Process close')

结果：

Parent process 809 is Running
process start
process start
process start
process start
process start
Child process 0 810 Running
Child process 1 811 Running
Child process 2 812 Running
Child process 3 813 Running
Child process 4 814 Running
Process close

Pool

Pool 可以提供指定数量的进程供用户使用，默认是 CPU 核数。当有新的请求提交到 Poll 的时候，如果池子没有满，会创建一个进程来执行，否则就会让该请求等待。

- Pool 对象调用 join 方法会等待所有的子进程执行完毕
- 调用 join 方法之前，必须调用 close
- 调用 close 之后就不能继续添加新的 Process 了

pool.apply_async

apply_async 方法用来同步执行进程，允许多个进程同时进入池子。

import multiprocessingimport osimport timedef run_task(name):  print('Task {0} pid {1} is running, parent id is {2}'.format(name, os.getpid(), os.getppid()))  time.sleep(1)  print('Task {0} end.'.format(name))if __name__ == '__main__':  print('current process {0}'.format(os.getpid()))  p = multiprocessing.Pool(processes=3)  for i in range(6):    p.apply_async(run_task, args=(i,))  print('Waiting for all subprocesses done...')  p.close()  p.join()  print('All processes done!')

结果：

current process 921
Waiting for all subprocesses done...
Task 0 pid 922 is running, parent id is 921
Task 1 pid 923 is running, parent id is 921
Task 2 pid 924 is running, parent id is 921
Task 0 end.
Task 3 pid 922 is running, parent id is 921
Task 1 end.
Task 4 pid 923 is running, parent id is 921