网页撷取(1) 利用WebClient

摘要:网页撷取(1) 利用WebClient

01 using ...System.Net;
02 using System.IO;
03 using System.Text;
04
05 public void _WebClient(string url)
06 ????????...{
07 ????????????WebClient wc = new WebClient();
08
09???????????? // 依照默认值，WebClient 执行个体并不会传送选择性的 HTTP 标头。
10 ????????????// 如果您的要求需要有选择性的标头，您就必须将标头加入至 Headers??集合中。
11 ????????????// 例如，若要在响应中保留查询，您就必须加入使用者代理程序 (User-Agent) 的标头。
12 ????????????// 同时，如果遗失使用者代理程序标头，则服务器可能返回 500 (内部服务器错误)。
13 ????????????wc.Headers.Add("user-agent", "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)");
14
15???????????? // 表示支持压缩，也就是说，你可以丢压缩过的数据过来
16 ????????????// wc.Headers.Add("Accept-Encoding","gzip, deflate");
17
18???????????? Stream data = wc.OpenRead(url);
19
20???????????? //要知道正确的编码，再去读取! StreamReader 默认值为 UTF-8 编码方式
21
22???????????? //StreamReader reader = new StreamReader(data, Encoding.GetEncoding("gb2312"));//简体
23 ????????????
24 ????????????StreamReader reader = new StreamReader(data);????????????
25 ????????????string s = reader.ReadToEnd();
26
27??????????? ?? data.Close();
28 ????????????reader.Close();
29
30 ????????}
31

==============================================================

参考：

http://blog.roodo.com/thinkingmore/archives/2782355.html

http://msdn.microsoft.com/zh-tw/library/system.net.webclient%28VS.80%29.aspx

原文:大专栏  网页撷取(1) 利用WebClient