python并发和异步编程实例

关于并发、并行、同步阻塞、异步非阻塞、线程、进程、协程等这些概念，单纯通过文字恐怕很难有比较深刻的理解，本文就通过代码一步步实现这些并发和异步编程，并进行比较。解释器方面本文选择python3，毕竟python3才是python的未来，并且python3用原生的库实现协程已经非常方便了。

1、准备阶段

下面为所有测试代码所需要的包

#! python3# coding:utf-8import socketfrom concurrent import futuresfrom selectors import DefaultSelector,EVENT_WRITE,EVENT_READimport asyncioimport aiohttpimport timefrom time import ctime

在进行不同实现方式的比较时，实现场景就是在进行爬虫开发的时候通过向对方网站发起一系列的http请求访问，统计耗时来判断实现方式的优劣，具体地，通过建立通信套接字，访问新浪主页，返回源码，作为一次请求。先实现一个装饰器用来统计函数的执行时间：

def tsfunc(func):  def wrappedFunc(*args,**kargs):    start = time.clock()    action = func(*args,**kargs)    time_delta = time.clock() - start    print ('[{0}] {1}() called, time delta: {2}'.format(ctime(),func.__name__,time_delta))    return action  return wrappedFunc

输出的格式为：当前时间，调用的函数，函数的执行时间。

2、阻塞/非阻塞和同步/异步

这两对概念不是很好区分，从定义上理解：

阻塞：在进行socket通信过程中，一个线程发起请求，如果当前请求没有返回结果，则进入sleep状态，期间线程挂起不能做其他操作，直到有返回结果，或者超时(如果设置超时的话)。
非阻塞：与阻塞相似，只不过在等待请求结果时，线程并不挂起而是进行其他操作，即在不能立刻得到结果之前，该函数不会阻挂起当前线程，而会立刻返回。
同步：同步和阻塞比较相似，但是二者并不是同一个概念，同步是指完成事件的逻辑，是指一件事完成之后，再完成第二件事，以此类推…
异步：异步和非阻塞比较类似，异步的概念和同步相对。当一个异步过程调用发出后，调用者不能立刻得到结果。实际处理这个调用的部件在完成后，通过状态、通知和回调来通知调用者，实现异步的方式通俗讲就是“等会再告诉你”。

1）阻塞方式

回到代码上，首先实现阻塞方式的请求函数：

def blocking_way():  sock = socket.socket()  sock.connect(('www.sina.com',80))  request = 'GET / HTTP/1.0/r/nHOST:www.sina.com/r/n/r/n'  sock.send(request.encode('ascii'))  response = b''  chunk = sock.recv(4096)  while chunk:    response += chunk    chunk = sock.recv(4096)  return response

测试线程、多进程和多线程

# 阻塞无并发@tsfuncdef sync_way():  res = []  for i in range(10):    res.append(blocking_way())  return len(res)@tsfunc# 阻塞、多进程def process_way():  worker = 10  with futures.ProcessPoolExecutor(worker) as executor:    futs = {executor.submit(blocking_way) for i in range(10)}  return len([fut.result() for fut in futs])# 阻塞、多线程@tsfuncdef thread_way():  worker = 10  with futures.ThreadPoolExecutor(worker) as executor:    futs = {executor.submit(blocking_way) for i in range(10)}  return len([fut.result() for fut in futs])