使用Python的Tornado框架实现一个简单的WebQQ机器人

我打算将WebQQ单独出来运行, 一开始直接拷贝了pyxmpp2的mainloop, 但是跑起来问题多多, 所以我又研究了利用Tornado进行网络编程(这里), 所以我放弃了Pyxmpp2的mainloop,使用Tornado进行重写

首先放出项目代码
引子

WebQQ协议是一套基于HTTP的QQ协议, 而用Python的urllib2库进行请求太慢, 因为HTTP本身就使用socket请求, 所以改用多路复用I/O模型, 而Tornado简单高效, 看过代码后可以轻松上手.平台兼容性很好, 所以选择Tornado作为网络框架.
原理

首先实现了一个 HTTPStream类, 其主要接口是add_request方法, 它接受一个必选参数:request 是一个 urllib2.Request的实例, 和一个可选参数:readback是一个接受一个urllib2.urlopen(request)返回的Response参数的读取函数, 代码如下:

class HTTPStream(object):  # 省略若干代码  def add_request(self, request, readback = None):    if not isinstance(request, urllib2.Request):      raise ValueError, "Not a invaid requset"    # 此处易触发timeout异常, 省略处理异常代码    sock, data = self.http_sock.make_http_sock_data(request)    fd = sock.fileno()    self.fd_map[fd] = sock    self.fd_request_map[fd] = request    callback = partial(self._handle_events, request, data, readback)    self.ioloop.add_handler(fd, callback, IOLoop.WRITE)

HTTPStream.add_request将urllib2.Request的实例解析出一个socket和一个用于socket发送的数据.前面文章介绍过了, tornado.ioloop.IOLoop.add_handler用于将注册socket, 其需要三个参数: socket的文件描述符, 接受文件描述符和事件参数的回调, 和注册的事件.

我们用到的回调是HTTPStream._handle_events:

class HTTPStream(object):  # 省略若干代码  def _handle_events(self, request, data, readback, fd, event):    """ 用于处理Tornado事件    Arguments:      `request`  -  urllib.Request      `data`   -  socket要写入的数据      `readback` -  读取函数      以上参数应当使用partial封装然后将此方法作为IOLoop.add_handler的callback      `fd`    -  IOLoop传递 文件描述符      `event`   -  IOLoop传递 tornado    """    s = self.fd_map[fd]    if event & IOLoop.READ:      # 省略错误处理      resp = self.http_sock.make_response(s, request)      args = readback(resp)      s.setblocking(False)      if args and len(args) == 3:        t = threading.Thread(target = self.add_delay_request, args = args)        t.setDaemon(True)        t.start()      if args and len(args) == 2:        self.add_request(*args)      self.ioloop.remove_handler(fd)    if event & IOLoop.WRITE:      s.sendall(data)      if readback:        self.ioloop.update_handler(fd, IOLoop.READ)      else:        self.ioloop.remove_handler(fd)    if event & IOLoop.ERROR:      pass

它接受的参数上面注释写的很清楚, 不做解释, 所以将此方法通过functools.partial封装做为callback传递给tornado.ioloop.IOLoop.add_handler, 并注册为写事件, 以便发送HTTP请求.