首页 > 编程 > PHP > 正文

php实现的采集小程序,做采集的必看

2020-03-22 18:54:37
字体:
来源:转载
供稿:网友
以下是我搜集的php实现的采集小程序,自己测试可用,做采集很实用哦!

<?php//调用方法 :localhost/2.php?id=1 (自动采集1-8的列表)header("Content-type:text/html;charset=utf-8");$con =mysql_connect("localhost", "root", "huweishen.com") or die("数据库链接错误");mysql_select_db("liuyan", $con);mysql_query("set names 'utf8'");function preg_substr($start, $end, $str) // 正则截取函数        {            $temp = preg_split($start, $str);            $content = preg_split($end, $temp[1]);            return $content[0];        }     function str_substr($start, $end, $str) // 字符串截取函数        {            $temp = explode($start, $str, 2);            $content = explode($end, $temp[1], 2);            return $content[0];       }     // ---------------- 使用实例 ----------------      if($_GET['id']<=8&&$_GET['id']){$id=$_GET['id'];$url = "http://www.037c.com/New/list_5_$id.html"; //目标站$fp = fopen($url, "r") or die("超时");$fcontents = file_get_contents($url);$pattern="/<//span><a href=/"(.*)/" title=/"(.*)/"  target=/"_blank/">/iUs";//正则preg_match_all($pattern, $fcontents, $arr);//print_r($arr);         foreach($arr[1] as $k=>$url)         {        $title = iconv('GB2312', 'UTF-8', addslashes($arr[2][$k])); // echo $title;// echo $url;     $str = iconv("GB2312","UTF-8",  file_get_contents($url));          $author = preg_substr("/作者:/", "/<///", $str); // 通过正则提取作者             $content = str_substr('<p class="wltg">', '</p>', $str); //通过字符串提取标题     $sql = "INSERT  INTO  `caiji` (`title`, `url` , `content`, `author` ) VALUES ('$title', '$url' , '$content' , '$author')";// echo $sql."<br/>";         mysql_query($sql);         }       $id++;    echo "正在采集URL数据列表$id...请稍后...";    echo "<script>window.location='2.php?id=$id'</script>";  }else{   echo "采集数据结束。"; }?>


其中 title 设置唯一,可以防止重复采集,很好的的一个php采集小程序,作者:风云无忌

以上就是php实现的采集小程序,做采集的必看的详细内容,更多请关注 其它相关文章!

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。

上一篇:php合并数组

下一篇:PHPExcel生成图表

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表