Scrapy框架使用的基本知识

scrapy是一个基于Twisted的异步处理框架，可扩展性很强。优点此处不再一一赘述。

下面介绍一些概念性知识，帮助大家理解scrapy。

一、数据流向

要想熟练掌握这个框架，一定要明白数据的流向是怎么一个过程。总结如下：

1.引擎先打开网站，请求url。

2.引擎通过调度器以Request形式调度url。

3.引擎请求下一个url。

4.调度器将url通过Downloader Middlewares发送给引擎

5.Downloader 生成response，通过Downloader Middlewares发送给引擎

6.引擎接收Response 通过spiderMiddleware发送给spider处理

7.spider处理response

8.引擎将spider处理的item给ItemPipeline 然后将新的Request给调度器。

二、各个结构的作用

DownloderMiddleware

调度器会从队列之中拿出Request发送给Downloader执行下载，这个过程会经过DownloaderMiddleware的处理。

作用的位置有两个：

核心方法有三个：

process_request(request,spider)

Request 到达Downloader之前，就会被调用

参数介绍：

返回值：

1.返回None 调用别的process_request()方法，直至将Request执行得到Response才会结束。

2.返回Response对象，低优先级的process_request()和process_exception不调用。

3.返回request对象，低优先级的process_request()停止执行，返回新的Request。

process_response(request,response,spider)

作用位置：

返回值的情况：

1.返回Request低优先级的process_respons()不调用。

2.返回response低优先级的process_respons()继续调用。

process_exception（request,exception,spider）

此函数主要是用来处理异常的。

spiderMiddleware

作用位置：

核心方法：

process_soider_input(response,spider)

返回值：

1.返回None

 继续处理Response，调用所有的spiderMiddleware，知道spider处理

2.跑出异常

直接调用Request的errback（）方法，使用process_spider_output()处理。

process_spider_output(response,result,spider)