社区
C#
帖子详情
Socket,HttpWebRequest,WebClient哪种方法下载网页的速度快
oboaixoaix
2007-06-30 03:32:28
Socket,HttpWebRequest,WebClient哪种方法下载网页的速度快
...全文
883
6
打赏
收藏
Socket,HttpWebRequest,WebClient哪种方法下载网页的速度快
Socket,HttpWebRequest,WebClient哪种方法下载网页的速度快
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
6 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
oboaixoaix
2007-07-01
打赏
举报
回复
kevery_net(負貳伍小時)可惜我已经结帖,不然分就给你了
kevery_net
2007-07-01
打赏
举报
回复
用:HttpWebRequest
再在提交前的HttpWebRequest对像中的头加入("Accept-Encoding", "gzip");
这样会更快.但返回的数据是已加密的.再在本地解密,就OK,且本地解密也是很快的嘛.
如:
//下载网页
private string GetData (string 要下载的网址, string 当前网址)
{
string text1 = "";
string name = "gb2312";
name = "Big5";
try
{
HttpWebRequest HWR = (HttpWebRequest) WebRequest.Create(要下载的网址);
HWR.Timeout = 20;
HWR.ReadWriteTimeout = 30;
HWR.UserAgent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Maxthon; .NET CLR 1.1.4322)";
HWR.Accept = "*/*";
HWR.KeepAlive = true;
HWR.Headers.Add("Accept-Language", "zh-cn,en-us;q=0.5");
HWR.Headers.Add("Accept-Encoding", "gzip, deflate");
HWR.Referer = 当前网址;
HWR.CookieContainer = New CookieContainer();
HttpWebResponse HWResp = (HttpWebResponse) HWR.GetResponse();
Stream stream1 = Gzip(HWResp);
StreamReader reader1 = new StreamReader(stream1, Encoding.GetEncoding(name));
text1 = reader1.ReadToEnd();
reader1.Close();
stream1.Close();
}
catch
{
text1="";
}
return text1;
}
//解密
private Stream Gzip (HttpWebResponse HWResp)
{
Stream stream1 = null;
if (HWResp.ContentEncoding == "gzip")
{
stream1 = new GZipInputStream(HWResp.GetResponseStream());
}
else
{
if (HWResp.ContentEncoding == "deflate")
{
stream1 = new InflaterInputStream(HWResp.GetResponseStream());
}
}
if (stream1 == null)
{
return HWResp.GetResponseStream();
}
MemoryStream stream2 = new MemoryStream();
int count = 0x800;
byte[] buffer = new byte[0x800];
goto A;
A:
count = stream1.Read(buffer, 0, count);
if (count > 0)
{
stream2.Write(buffer, 0, count);
goto A;
}
stream2.Seek((long) 0, SeekOrigin.Begin);
return stream2;
}
oboaixoaix
2007-07-01
打赏
举报
回复
找不到类型或命名空间"GZipInputStream"
oboaixoaix
2007-06-30
打赏
举报
回复
哪位大哥有这方面的经验,告知一二啊,我没时间一个个去试啊
oboaixoaix
2007-06-30
打赏
举报
回复
怎么这么肯定,有没有做过试验
zhqs1000
2007-06-30
打赏
举报
回复
HttpWebRequest
C#
网页
采集数据的几种方式(
WebClient
、WebBrowser和
HttpWebRequest
/HttpWebResponse)
本文介绍了如何通过
WebClient
、WebBrowser和
HttpWebRequest
三种方式获取
网页
内容,包括获取
网页
所有信息及针对特定需求提取数据的
方法
。重点展示了如何使用正则表达式过滤提取所需数据。
使用
HttpWebRequest
自动更新客户端应用程序
本文介绍了一种客户端应用程序的更新机制,通过读取配置文件来确定更新列表,并利用
HttpWebRequest
进行文件
下载
,支持显示
下载
进度。
用
socket
来代替
HttpWebRequest
和HttpWebResponse
本文介绍如何使用
Socket
编程实现
网页
内容的抓取,包括同步和异步两种方式,并提供了详细的代码示例。
C#中
HttpWebRequest
与HttpWebResponse的使用
方法
本文详细介绍如何使用C#进行HTTP GET和POST请求,包括解决编码、证书验证和Cookie处理问题,适用于不同场景如无需登录、需验证证书及需登录的
网页
抓取。
苍穹外卖实战:套餐管理模块CRUD与状态控制全解析
本文详细解析了HTTP和
Socket
两种网络通信技术,涵盖
WebClient
、
HttpWebRequest
类的使用,以及
Socket
通信的核心概念和实现方式。通过构建一个基于
Socket
的文本聊天应用,展示了实际应用场景,并提供了相关技术流程图和常见问题解决方案。
C#
111,132
社区成员
642,541
社区内容
发帖
与我相关
我的任务
C#
.NET技术 C#
复制链接
扫一扫
分享
社区描述
.NET技术 C#
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
让您成为最强悍的C#开发者
试试用AI创作助手写篇文章吧
+ 用AI写文章