首页 > 开发 > JS > 正文

基于node.js实现爬虫的讲解

2024-05-06 16:48:13
字体:
来源:转载
供稿:网友

1. cheerio 与 request

  • request:模拟客户端行为,对页面进行请求
  • cheerio:对服务器端返回的页面进行解析;
var cheerio = require('cheerio');var request = require('request');var startUrl = 'http://www.baidu.com'request(startUrl, function(err, response) {  if (err) {    console.log(err);  }  var $ = cheerio.load(response.body);  var  console.log(title);}

2. 认识 cheerio

获取 element 位置

通过 class 属性进行匹配:

var $=cheerio.load('<div class="container"></div>'); $('.container')

取其链接:<a class="downbtn" href="http://mov.bn.netease.com/mobilev/2013/1/F/G/S8KTEF7FG.mp4" id="M8KTEKR84" target="_blank"></a>

$('a.downbtn').attr('href')

某一页面下的全部可链接:

var url = var $ = cheerio.load(data);  $("a.downbtn").each(function(i, e) {    console.log($(e).attr("href"));  });  console.log("done"); } else {   console.log("error"); } 

总结

以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,谢谢大家对VeVb武林网的支持。


注:相关教程知识阅读请移步到JavaScript/Ajax教程频道。
发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表