Java实现利用搜索引擎收集网址的程序

2019-11-18 15:38:00

字体：大中小

来源：转载

供稿：网友

　　我这里讲的不是怎么使用搜索引擎，而是怎么让程序利用搜索引擎来搜集网址，这有什么用？很有用！网上动辄有人叫卖网址数据库，如发布软件网址、邮件地址、论坛网址、行业网址，这些网址是怎么来的呢？

不可能是人手工收集而来的，都是让程序利用搜索引擎取到的，假如您需要某类网址信息数据，就跟我来一起研究一下，非常简单。

　　本文采用java语言写成，以Google和百度搜索引擎为对象。

　　我们要利用google、百度搜索引擎的搜索规则中的两条，要害字搜索和inurl搜索。什么是inurl搜索，就是你所要搜索的网址中本身带有的要害字，比如http://www.xxx.com/post.asp ,这个网址就含有post.asp这样的要害字，在搜索引擎中填写规则是 inurl:post.asp,这是收集网址的要害，因为很多网址本身会带有特定的信息，比如软件发布的网页网址信息中多含有 publish、submit、tuijian这样的信息，如http://www.xxx.com/publish.asp,这样的网址多是发布信息的网页，在结合网页中本身可能含有的要害字，就可以用搜索引擎搜索出结果，然后我们利用程序将结果取回，对Html页面进行分析，去除没有用的信息，将有用的网址信息写入文件或者数据库，就可以给其它应用程序或者人来使用了。

　　第一步，用程序将搜索结果取回，先以百度为例，比如我们要搜索软件发布的网页，要害字采用 “软件发布版本 inurl:publish.asp",先登录百度看看，将要害字写入，然后提交，在地址栏就会看到 http://www.baidu.com/s?ie=gb2312&bs=%C8%ED%BC%FE%B7%A2%B2%BC+%C8%ED%BC%FE%B0%E6%B1%BE+inurl%3Apublish.asp&sr=&z=&cl=3&f=8&wd=%C8%ED%BC%FE%B7%A2%B2%BC+%B0%E6%B1%BE+inurl%3Apublish.asp&ct=0 ,中文要害字全都变成编码了，没有关系，我们在程序中直接用中文也是可以的，其中多个要害字用＋号相连，去掉一些没有用的信息，我们可以把地址优化成http://www.baidu.com/s?lm=0&si=&rn=20&ie=gb2312&ct=0&wd=软件发布+版本+inurl%3Apublish%2Easp&pn=0&cl=0，其中rn表示一页显示多少个结果，wd=表示你要搜索的要害字，pn表示从第几条开始显示，这个pn将是我们程序循环取结果的变量，每20条循环一次。我们用Java写的程序来模拟这个搜索的过程，用到的要害类为 java.net.HttpURLConnection,java.net.URL，先写一个提交搜索的class,要害代码如下：

class Search
{
　public URL url;
　public HttpURLConnection http;
　public java.io.InputStream urlstream;
　......
　for(int i=0;i++;i<100)
　{
　　......
　　try {
　　　url = new URL("http://www.baidu.com/s?lm=0&si=&rn=20&ie=gb2312&ct=0&wd=软件发布+版本+inurl%3Apublish%2Easp&pn="+beginrecord+"&cl=0"); 
　　}catch(Exception ef){};
　　try {
　　　http = (HttpURLConnection) url.openConnection();
　　　http.connect();
　　　urlstream = http.getInputStream();
　　}catch(Exception ef){};








上一篇：Java 在Client/Server 网络中的应用


下一篇：你能过关吗?J2EE面试题集锦(附答案)














发表评论
共有条评论






用户名:

密码:



验证码:

 

匿名发表


















学习交流
更多





索泰发布一款GTX 1070 Mini迷


AMD新旗舰显卡轻松干翻NVIDIA 






索泰发布一款GTX 1070 Mini迷你版本:小机
索泰发布一款GTX 1070 Mini迷你版本:小机箱大爱...






usb无线网卡怎么用,小编告诉你安装教程09-10

usb调试在哪,小编告诉你usb调试在哪09-10

优盘不显示,小编告诉你优盘不显示怎么办09-10

低级格式化,小编告诉你硬盘怎么低级格式化09-10




帝国cms分类信息的所在地在的修改09-08

将网站地图和友情链接table样式改为div+css09-08

用帝国cms实现不规则新闻或信息调用（应大站09-08

帝国调用DZ论坛精华帖09-08

用灵动标签调用discuz和phpwind的最新贴子09-08







热门图片
更多




芭蕾舞蹈表演，真实美到极致


下午茶时间，悠然自得的休憩




充斥这繁华奢靡气息的城市迪拜风景图片


从山间到田野再到大海美丽的自然风景图片




肉食主义者的最爱美食烤肉图片


夏日甜心草莓美食图片




人逢知己千杯少，喝酒搞笑图集


搞笑试卷，学生恶搞答题







猜你喜欢的新闻


荣耀总裁赵明乌镇演讲：荣耀首款5G手机V30下

搜狐张朝阳：回归媒体是搜狐重新崛起的关键

华为轮值董事长郭平：虚拟技术创造现实价值

第六届世界互联网大会开幕“to B”端成热门

滴滴英文服务上线两周年 用户已超200万

华为推出全球至快AI训练集群Atlas900

马斯克：特斯拉正组建中国技术团队

10年后6G将问世 速度有望比5G快100倍

WeworkCEO称已开始考虑未来职位 不排除放弃

谷歌软件商店模式变革：推出5美元会员 可用数





猜你喜欢的关注


聊天室实现私聊(一)

聊天室实现私聊(二)

聊天室实现私聊(三)

聊天室实现私聊(四)

网页在线人数统计的做法

ADO存取数据时如何实现留言记录的分页显示

一个简单聊天室的建立.(供学习参考)

构建你的网站新闻自动发布系统之一

构建你的网站新闻自动发布系统之二

构建你的网站新闻自动发布系统之三