python队列queue模块详解

队列queue 多应用在多线程应用中，多线程访问共享变量。对于多线程而言，访问共享变量时，队列queue是线程安全的。从queue队列的具体实现中，可以看出queue使用了1个线程互斥锁(pthread.Lock())，以及3个条件标量(pthread.condition()),来保证了线程安全。

queue队列的互斥锁和条件变量，可以参考另一篇文章：python线程中同步锁

queue的用法如下：

import Queque a=[1,2,3] device_que=Queque.queue() device_que.put(a) device=device_que.get() 

先看看它的初始化函数__init__(self,maxsize=0):

def __init__(self, maxsize=0):  self.maxsize = maxsize  self._init(maxsize)  # mutex must be held whenever the queue is mutating. All methods  # that acquire mutex must release it before returning. mutex  # is shared between the three conditions, so acquiring and  # releasing the conditions also acquires and releases mutex.  self.mutex = _threading.Lock()  # Notify not_empty whenever an item is added to the queue; a  # thread waiting to get is notified then.  self.not_empty = _threading.Condition(self.mutex)  # Notify not_full whenever an item is removed from the queue;  # a thread waiting to put is notified then.  self.not_full = _threading.Condition(self.mutex)  # Notify all_tasks_done whenever the number of unfinished tasks  # drops to zero; thread waiting to join() is notified to resume  self.all_tasks_done = _threading.Condition(self.mutex)  self.unfinished_tasks = 0 

定义队列时有一个默认的参数maxsize, 如果不指定队列的长度，即manxsize=0,那么队列的长度为无限长，如果定义了大于0的值，那么队列的长度就是maxsize。

self._init(maxsize)：使用了python自带的双端队列deque,来存储元素。

self.mutex互斥锁：任何获取队列的状态(empty(),qsize()等)，或者修改队列的内容的操作(get,put等)都必须持有该互斥锁。共有两种操作require获取锁，release释放锁。同时该互斥锁被三个共享变量同时享有，即操作conditiond时的require和release操作也就是操作了该互斥锁。

self.not_full条件变量：当队列中有元素添加后，会通知notify其他等待添加元素的线程，唤醒等待require互斥锁，或者有线程从队列中取出一个元素后，通知其它线程唤醒以等待require互斥锁。

self.not empty条件变量：线程添加数据到队列中后，会调用self.not_empty.notify()通知其它线程，唤醒等待require互斥锁后，读取队列。

self.all_tasks_done条件变量：消费者线程从队列中get到任务后，任务处理完成，当所有的队列中的任务处理完成后，会使调用queue.join()的线程返回，表示队列中任务以处理完毕。

queue.put(self, item, block=True, timeout=None)函数:

申请获得互斥锁，获得后，如果队列未满，则向队列中添加数据，并通知notify其它阻塞的某个线程，唤醒等待获取require互斥锁。如果队列已满，则会wait等待。最后处理完成后释放互斥锁。其中还有阻塞block以及非阻塞，超时等逻辑，可以自己看一下: