一个基于phpQuery的php通用采集类分享

2020-03-22 16:48:45

字体：大中小

来源：转载

供稿：网友

一、采集类源码
复制代码代码如下:
?php
/**
*通用列表采集类
*版本V1.3
*作者:JAE
*/
require_once '../phpQuery/phpQuery/phpQuery.php';
html' target='_blank'>class QueryList{

private $pageURL;
private $regArr = array();
public $jsonArr = array();
private $regRange;
private $html;
/************************************************
* 参数: 页面地址选择器数组块选择器
* 【选择器数组】说明：格式array("名称"= array("选择器","类型"),.......)
* 【类型】说明：值 "text" ,"html" ,"属性"
*【块选择器】：指先按照规则选出几个大块，然后再分别再在块里面进行相关的选择
*************************************************/
function QueryList($pageURL,$regArr=array(),$regRange='')
{
$this- pageURL = $pageURL;

//为了能获取http://
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL,$this- pageURL);
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
$this- html = curl_exec($ch);
curl_close($ch);

if(!empty($regArr))
{

$this- regArr = $regArr;
$this- regRange = $regRange;
$this- getList();
}

}
function setQuery($regArr,$regRange='')
{
$this- jsonArr=array();
$this- regArr = $regArr;
$this- regRange = $regRange;
$this- getList();
}
private function getList()
{

$hobj = phpQuery::newDocumentHTML($this- html);
if(!empty($this- regRange))
{
$robj = pq($hobj)- find($this- regRange);

$i=0;
foreach($robj as $item)
{

while(list($key,$reg_value)=each($this- regArr))
{
$iobj = pq($item)- find($reg_value[0]);

switch($reg_value[1])
{
case 'text':
$this- jsonArr[$i][$key] = trim(pq($iobj)- text());
break;
case 'html':
$this- jsonArr[$i][$key] = trim(pq($iobj)- html());
break;
default:
$this- jsonArr[$i][$key] = pq($iobj)- attr($reg_value[1]);
break;

}
}
//重置数组指针
reset($this- regArr);
$i++;
}
}
else
{
while(list($key,$reg_value)=each($this- regArr))
{
$lobj = pq($hobj)- find($reg_value[0]);

$i=0;
foreach($lobj as $item)
{
switch($reg_value[1])
{
case 'text':
$this- jsonArr[$i++][$key] = trim(pq($item)- text());
break;
case 'html':
$this- jsonArr[$i++][$key] = trim(pq($item)- html());
break;
default:
$this- jsonArr[$i++][$key] = pq($item)- attr($reg_value[1]);
break;

}

}

}
}
}
function getJSON()
{
return json_encode($this- jsonArr);
}

}
二、使用例子复制代码代码如下:
?php
require 'Query/QueryList.class.php';
//采集OSC的代码分享列表，标题链接作者
$url = "http://www.oschina.net/code/list";
$reg = array("title"= array(".code_title a:eq(0)","text"),"url"= array(".code_title a:eq(0)","href"),"author"= array("img","title"));
$rang = ".code_list li";
$hj = new QueryList($url,$reg,$rang);
$arr = $hj- jsonArr;
print_r($arr);
//如果还想采当前页面右边的 TOP40活跃贡献者图像，得到JSON数据,可以这样写
$reg = array("portrait"= array(".hot_top img","src"));
$hj- setQuery($reg);
$json = $hj- getJSON();
echo $json . " hr/ //采OSC内容页内容
$url = "http://www.oschina.net/code/snippet_186288_23816";
$reg = array("title"= array(".QTitle h1","text"),"con"= array(".Content","html"));
$hj = new QueryList($url,$reg);
$arr = $hj- jsonArr;
print_r($arr);//就举这么多例子吧，是不是用来做采集很方便
PHP教程

郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。

上一篇：什么是php？有哪些优点？

下一篇：使用Laravel实现定时任务的方法