Nutch抓取流程

nutch抓取流程注入起始url(inject)、生成爬取列表(generate)、爬取(fetch)、解析网页内容(parse)、更新url数据库(updatedb)1:注入起始url(inject)org.apache.nutch.crawl.Injector注入待抓取URL,因为Nutch的抓取程序要抓取网页，肯定需要有一个或者多个入口url。nutch会按照广度优先策略(一般有广度优先策略和深度优先策略)进行抓取，根据前面指定的url进行抓取工作。url存储具体格式为<Text, CrawlDatum>。其中的key表示该URL的地址，而value则是Nutch自己定义的一个类型“CrawlDatum”，该类型实现了"Writable"接口，用来表示页面的一些属性。“CrawlDatum"类所在位置：org.apache.nutch.crawl.CrawlDatum其中包括了页面的状态，抓取时间，抓取间隔等属性。inject过程把这些数据存储到crawldb目录中。2：生成爬取列表(generate)org.apache.nutch.crawl.Generator生成segment。这一步骤主要是对上一步提交的URL集合进行分析，确定抓取任务的详细信息。在segments目录下新建一个System.currentTimeMillis()时间标识的文件，如：20150906145715另外遍历crawlDb，取出topN个需要fetch的urlList，【topN的配置属性是：generate.topN，nutch-default.xml中没有配置这个属性，查看代码发现如果没有配置默认是long的最大值job.getLong(GENERATOR_TOP_N, Long.MAX_VALUE),分析crawl脚本发现这个值会被设置为50000numSlaves=1sizeFetchlist=`exPR $numSlaves /* 50000`generate_args=($commonOptions "$CRAWL_PATH"/crawldb "$CRAWL_PATH"/segments -topN $sizeFetchlist -numFetchers $numSlaves -noFilter)】存放到segments/20150906145715/crawl_generate文件中，crawl_generate 为SequenceFile文件3：爬取(fetch)org.apache.nutch.fetcher.Fetcher分析提交的URL集合之后，将页面内容抓取下来，存于segment目录下。抓取过程中，页面的URL地址可能因为链接发生改变(302重定向)，从而需要更新URL地址；例如：京东手机分类url：http://list.jd.com/9987-653-655.html，打开之后url就变成这个了：http://list.jd.com/list.html?cat=9987,653,655抓取采用多线程方式进行，以提高抓取速度；参数为：fetcher.threads.fetch，默认最大线程数量为10，使用crawl脚本的话线程数会被设置为50，【numThreads=50__bin_nutch fetch $commonOptions -D fetcher.timelimit.mins=$timeLimitFetch "$CRAWL_PATH"/segments/$SEGMENT -noParsing -threads $numThreads】fetch操作过程中调用了parse操作。4：解析(parse)org.apache.nutch.parse.ParseSegment内容解析器。抓取到的页面文件被提交到这里，实现对页面文件的处理，包括页面文件的分析和处理

4.1：parsed text &data解析segment中由fetch得到的页面，并进行整理，将页面分成为parse-date和parse-textparse-date中保存的是页面的题名、作者、日期、链接等元数据信息；parse-text中保存的是页面的文本内容。通过上面几步操作，创建了如下几个目录content、crawl_fetch、crawl_generate、crawl_parse、parse_data、parse_textcontent包含下载页面的原始数据，存储为map文件，格式是<url,Content>。为了展示快摘页面，这里使用文件存储数据，因为Nutch需要对文件做快速随机的访问。crawl_generate它包含将要爬取的URL列表以及从CrawlDb取到的与这些URL页相关的当前状态信息，对应的文件的格式<url,CrawlDatum>。crawl_fetch它包含数据爬取的状态信息，即爬取是否成功相应码是什么，等等。这个数据存储在map文件里，格式是<url,CrawlDatum>crawl_parse每个成功爬取并解析的页面的链接列表都保存在这里，页面中解析出来的链接都保存在这里面也是<url,CrawlDatum>格式存储的。parse_date解析过程中收集的元数据，使用<url,ParseData>格式存储的parse_text存储的是网址和标题信息，使用<url,ParseText>格式存储的5：更新url数据库(updatedb)根据第四步的解析结果更新crawldb数据库其实这一步就是调用CrawlDb.java中的update方法，从第95和96行代码可以发现其实就是根据第四步生成的crawl_fetch和crawl_parse中的数据文件进行更新。