首页 > 学院 > 开发设计 > 正文

Scrapy

2019-11-14 16:54:20
字体:
来源:转载
供稿:网友

 

创建项目

一般来说,使用 scrapy 工具的第一件事就是创建您的Scrapy项目:

scrapy startPRoject myproject

该命令将会在 myproject 目录中创建一个Scrapy项目。

接下来,进入到项目目录中:

cd myproject

这时候您就可以使用 scrapy 命令来管理和控制您的项目了。

控制项目

您可以在您的项目中使用 scrapy 工具来对其进行控制和管理。

比如,创建一个新的spider:

scrapy genspider mydomain mydomain.com

crawl

  • 语法: scrapy crawl <spider>
  • 是否需要项目: yes

使用spider进行爬取。

例子:

$ scrapy crawl myspider[ ... myspider starts crawling ... ]

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表