首页 > 网站 > 建站经验 > 正文

Pyt hon多进程机制实例详解

2019-11-02 14:53:48
字体:
来源:转载
供稿:网友

   本文实例讲述了Python多进程机制。分享给大家供大家参考。具体如下:

  在以前只是接触过PYTHON的多线程机制,今天搜了一下多进程,相关文章好像不是特别多。看了几篇,小试了一把。程序如下,主要内容就是通过PRODUCER读一个本地文件,一行一行的放到队列中去。然后会有相应的WORKER从队列中取出这些行。

  ?

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 import multiprocessing import os import sys import Queue import time def writeQ(q,obj): q.put(obj,True,None) print "put size: ",q.qsize() def readQ(q): ret = q.get(True,1) print "get size: ",q.qsize() return ret def producer(q): time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容 pid = os.getpid() handle_file = '/home/dwapp/joe.wangh/test/multiprocess/datafile' with open(handle_file,'r') as f: #with...as... 这个用法今天也是第一次看到的 for line in f: print "producer <" ,pid , "> is doing: ",line writeQ(q,line.strip()) q.close() def worker(q): time.sleep(5) #让进行休息几秒 方便ps命令看到相关内容 pid = os.getpid() empty_count = 0 while True: try: task = readQ(q) print "worker <" , pid , "> is doing: " ,task ''' 如果这里不休眠的话 一般情况下所有行都会被同一个子进程读取到 为了使实验效果更加清楚 在这里让每个进程读取完 一行内容时候休眠5s 这样就可以让其他的进程到队列中进行读取 ''' time.sleep(5) except Queue.Empty: empty_count += 1 if empty_count == 3: print "queue is empty, quit" q.close() sys.exit(0) def main(): concurrence = 3 q = multiprocessing.Queue(10) funcs = [producer , worker] for i in range(concurrence-1): funcs.append(worker) for item in funcs: print str(item) nfuncs = range( len(funcs) ) processes = [] for i in nfuncs: p = multiprocessing.Process(target=funcs[i] , args=(q,)) processes.append(p) print "concurrence worker is : ",concurrence," working start" for i in nfuncs: processes[i].start() for i in nfuncs: processes[i].join() print "all DONE" if __name__ == '__main__': main()
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表