用.net实现远程获取其他网站页面内容

2024-07-10 13:11:27

字体：大中小

来源：转载

供稿：网友

注册会员，创建你的web开发资料库，

　　远程获取网页内容.经过一定的处理和灵活应用,可以开发成成体系网站内容采集系统.通常也叫做"新闻小偷"一般来说.做内容采集分为如下几个大致的步骤:

　　1.远程获取页面的全部html源文本.

　　2.通过过滤处理,分析有效内容文本.(通常用正则表达式来截取有效数据)

　　3.将格式有效的数据,根据自己的数据库结构分标题,内容....一些其他属性保存到自己的本地数据库.

　　ok整个采集过程如此简单.原理也不难.下面我们看看实现的具体基础代码!

　　首先我们来写一个获取远程html源的方法.

public string gethttpdata(string url)
        {
            string sexception=null;
            string srslt=null;
            webresponse owebrps=null;
            webrequest owebrqst=webrequest.create(url);
            owebrqst.timeout=50000;
            try
            {
                owebrps=owebrqst.getresponse();
            }
            catch(webexception e)
            {
                    sexception=e.message.tostring();
                    eyresponse.write(sexception);
            }
            catch(exception e)
            {
                    sexception=e.tostring();
                    eyresponse.write(sexception);
            }
            finally
            {
                if(owebrps!=null)
                {
                    streamreader ostreamrd=new streamreader(owebrps.getresponsestream(),encoding.getencoding("gb2312"));
                    srslt=ostreamrd.readtoend();
                    ostreamrd.close();
                    owebrps.close();
                }
            }
            return srslt;
        }

　　以上代码为获取远程html源的一个方法.参数仅一个.就是你要获取的目标页面的完整url路径.返回一个string类型的html源数据.

　　下面我们再来继续第二个步骤.分析自己需要的有效数据!这里我假设某个页面来做分析...

public string [] getdata(string html)
{
string [ ] rs=new string[2];
string s = html;
                s=regex.replace(s,"//s{3,}","");
                s=s.replace("/r","");
                s=s.replace("/n","");
                string pat="<td align=/"center/" class=/"24p/"><b>(.*)</b></td></tr><tr>.*(<table width=/"95%/" border=/"0/" cellspacing=/"0/" cellpadding=/"10/">.*</table>)<table width=/"98%/" border=/"0/" cellspacing=/"0/" cellpadding=/"0/">(.*)<td align=center class=l6h>";
                regex re = new regex(pat);
                match ma= re.match(s);
                if(ma.success)
                {
                    rs[0]=ma.groups[1].tostring();
                    rs[1]=ma.groups[2].tostring();
                    pgstr=ma.groups[3].tostring();
                }
return rs;
}