利用php爬取天猫和淘宝的商品数据

一、思路

最近做了一个网站用到了从网址爬取天猫和淘宝的商品信息，首先看了下手机端的网页发现用的react，不太了解没法搞，所以就考虑从PC入口爬取数据，但是当爬取URL获取数据时并没有获取价格，库存等的信息，仔细研究了下发现是异步请求了另一个接口，但是接口要使用refer才能获取数据，于是就通过以下方式写了一个简单的爬虫，用于爬取商品预览图和商品的第一个分类的价格、库存等。

二、实现

代码如下：

function crawlUrl($url){import( PhpQuery.Curl  $curl=new /Curl(); $result = $curl- read($url); $content = mb_convert_encoding( $result[ content ], UTF-8 , UTF-8,GBK,GB2312,BIG5  $myres=array(); if(strrpos($url, taobao.com )!=false) { //匹配是否下架 if(strpos($content, 此宝贝已下架 )!==false){ return false; preg_match( |itemId : (.*) |isU , $content, $match); $item_id=$match[1]; preg_match( |sellerId : (.*) |isU , $content, $match); $sellet_id=$match[1]; preg_match( | title (.*) /title |isU ,$content,$match); $title=$match[1]; //价格库存信息 $ch = curl_init(); curl_setopt ($ch, CURLOPT_URL, http://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId= .$item_id. sellerId= .$sellet_id. modules=dynStock,qrcode,viewer,price,duty,xmpPromotion,delivery,upp,activity,fqg,zjys,amountRestriction,couponActivity,soldQuantity,originalPrice,tradeContract callback=onSibRequestSuccess  $opt[CURLOPT_HEADER]=false; $opt[CURLOPT_CONNECTTIMEOUT]=15; $opt[CURLOPT_TIMEOUT]=300; $opt[CURLOPT_AUTOREFERER]=true; $opt[CURLOPT_USERAGENT]= Mozilla/5.0 (Windows NT 6.1) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.47 Safari/536.11  curl_setopt_array($ch,$opt); curl_setopt ($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt ($ch,CURLOPT_REFERER,$url); curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); $out_put=curl_exec ($ch); curl_close ($ch); $res=str_replace( onSibRequestSuccess( , ,$out_put); $res=rtrim($res, 1  $result=json_decode($res,true); //查询出图片信息 preg_match( | ul id= J_UlThumb >
上述代码用到phpquery的库，但是其实没啥用，直接用Curl就行，具体爬取的数据可以穿参查看结果，方法不区分淘宝和天猫链接，但是前提是必须是PC端链接，另外正则写的不规范，所以可以自己重写正则来匹配数据。
以上就是本文的全部内容，希望对大家的学习有所帮助，更多相关内容请关注PHP ！
相关推荐：
关于php 开发中加密的问题
使用PHP如何做到页面注册审核
以上就是利用php爬取天猫和淘宝的商品数据的详细内容，PHP教程        
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。