Scrapy使用的基本流程与实例讲解

# -*- coding: utf-8 -*-import scrapyfrom ..items import ImageItemclass ImagespiderSpider(scrapy.Spider):  name = 'imageSpider'  allowed_domains = ['pic.netbian.com']  start_urls = ['http://pic.netbian.com/4kmeinv/']   def parse(self, response):    img_list = response.xpath('//ul[@class="clearfix"]/li/a/img/@src')    # 找到了很多src属性值，现在进行遍历，分别使用每一个    for img in img_list:      # 使用在items.py中创建的数据模型item      item = ImageItem()      print('--------------------')      img = img.extract()      # 拼接图片的url，得到完整的下载地址      src = 'http://pic.netbian.com' +img      # 将得到的数据放入到模型中      # 因为是下载地址，所以要用列表包起来，否则会报错。      item['src'] = [src]      yield item    next_url = response.xpath('//div[@class="page"]/a[text()="下一页"]/@href').extract()    print('*****************************************************************')    if len(next_url)!=0:      url = 'http://pic.netbian.com'+next_url[0]      # 将url传给scrapy.Request 得到的结果继续用self.parse进行处理      yield scrapy.Request(url=url,callback=self.parse)