用C#编写一个抓网页的应用程序
2024-07-21 02:25:24
供稿：网友
本文利用c#和.net提供的类来轻松创建一个抓取网页内容源代码的程序。http是www进行数据访问最基本的协议之一，在.net的基本类型库类中提供了两个对象类：httpwebrequest和httpwebresponse，分别用来向某资源发送请求和获得响应。为了得到一个资源的内容，我们先指定一个想要抓取的url地址，用httpwebrequest对象进行请求，用httpwebresponse对象接收响应的结果，最后用textstream对象来提取我们想要的信息，并在控制台打印出来。
下面就是看看如何实现这样的功能：
第一步：打开vs.net，点“文件”-“新建”-“项目”，项目类型选择“visual c#项目”，模板选“windows应用程序”，如下图所示：
第二步：在form1里加入label1，button1,textbox1,textbox2四个控件，textbox2的multiline属性改为true,如下图所示：
第三步：在form1窗体上点击右键，选“查看代码”，然后在最顶端输入：
using system.io;
using system.net;
using system.text;
在
private void button1_click(object sender, system.eventargs e)
{
}
的括号之间输入下面的代码：
byte[] buf = new byte[38192];
httpwebrequest request = (httpwebrequest)webrequest.create(textbox1.text);
httpwebresponse response = (httpwebresponse)request.getresponse();
stream resstream = response.getresponsestream();
int count = resstream.read(buf, 0, buf.length);
textbox2.text = encoding.default.getstring(buf, 0, count);
resstream.close();
第四步：点“save all”按钮，按“f5”运行应用程序，在“请输入url地址：”后面的单行文本框里输入http://lucky.myrice.com/down.htm，点击“得到 html 代码”按钮，就可以看到该地址的代码了！结果如下所示：
下面，我们就对上面的程序做一个分析：
上面的这个程序的功能是抓取网页http://lucky.myrice.com/down.htm的内容，并在多行文本框里显示出html代码，由于返回的数据是字节类型的，因此，我们创建一个名为buf的字节类型的数组变量来存储请求返回来的结果，其中数组的大小与我们要请求返回的数据大小有关系。首先，我们实例化httpwebrequest对象，使用webrequest类的静态方法create()，该方法的字符串参数就是我们要请求页面的url地址，由于create()方法返回的是webrequest类型的，我们必须对它进行造型（即类型转换）成httpwebrequest类型，再赋给request变量。一旦我们建立了httpwebrequest对象，就可以使用它的getresponse()方法来返回一个webresponse对象，然后再造型成httpwebresponse对象赋给response变量。现在，就可以使用response对象的getresponsestream()方法来得到响应的文本流了，最后用stream对象的read()方法把返回的响应信息放到我们最初创建的字节数组buf中，read()有3个参数，分别是：要放入的字节数组，字节数组的开始位置，字节数组的长度。最后把字节转换成字符串，注意：这里采用的采用的是default编码，它使用默认的编码方式，我们就不用再进行字符编码之间的转换了。
也可以利用webrequest和webresponse实现以上的功能，代码如下：
webrequest request = webrequest.create(textbox1.text);
webresponse response = request.getresponse();
输入其它的url看看是不是很方便！
