一般来说,使用 scrapy
工具的第一件事就是创建您的Scrapy项目:
scrapy startPRoject myproject
该命令将会在 myproject
目录中创建一个Scrapy项目。
接下来,进入到项目目录中:
cd myproject
这时候您就可以使用 scrapy
命令来管理和控制您的项目了。
您可以在您的项目中使用 scrapy
工具来对其进行控制和管理。
比如,创建一个新的spider:
scrapy genspider mydomain mydomain.com
scrapy crawl <spider>
使用spider进行爬取。
例子:
$ scrapy crawl myspider[ ... myspider starts crawling ... ]
新闻热点
疑难解答