webclient抓取数据乱码的问题

NqIceCoffee 2008-02-29 11:11:39

WebClient web = new WebClient();
Stream stream = web.OpenRead(url);
StreamReader sr = new StreamReader(stream, Encoding.Default);
string webData = sr.ReadToEnd();

这里抓取的大多数网站都不会乱码

但抓取一些的时候就会出现乱码，如何通过简洁的手段，能达到抓取的数据都不会乱码？

请教大虾~~

...全文

357 17 打赏收藏转发到动态举报

写回复

用AI写文章

17 条回复

切换为时间正序

请发表友善的回复…

发表回复

NqIceCoffee 2008-03-12

打赏
举报

为何顶不起来？

NqIceCoffee 2008-03-12

打赏
举报

肯定会有没有加 <meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> 这个标记的

不知道哪位大虾有解决的办法

顶了~~~

milo4210 2008-02-29

打赏
举报

首先，请问那些站点没有这个信息？？
再有，即使是乱码，但英文不会有乱码的，你可以单独把<meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> 这行提取出来，不一定选择证则

NqIceCoffee 2008-02-29

打赏
举报

我说的意思是：

有些站点没有这个信息

即使有这个信息，如果我抓回来的是乱码

正则也匹配不出结果

milo4210 2008-02-29

打赏
举报

判断 charset 的值，然后根据这个值来确定采用哪种编码格式

milo4210 2008-02-29

打赏
举报

对阿，网页都应该有这个头部信息的

NqIceCoffee 2008-02-29

打赏
举报

milo4210 2008-02-29

打赏
举报

没有头信息？？？什么情况没有头信息？？

NqIceCoffee 2008-02-29

打赏
举报

回8楼

如果站点没有头信息呢？

我也试过，如果有乱码，正则匹配不到结果

milo4210 2008-02-29

打赏
举报

英文会有乱码？你就先把头部的信息抓回来就是<head></head>之间的，或者更简单的用个证则去匹配 charset=

NqIceCoffee 2008-02-29

打赏
举报

5楼的兄弟

这个站点是用户手动输入的

没法了解它的编码规则

NqIceCoffee 2008-02-29

打赏
举报

3楼的兄弟

如果我抓到的是乱码

如何分析？

这样做貌似有点像：先有蛋后有鸡。

milo4210 2008-02-29

打赏
举报

那你就要事先了解一下这个网站的编码

如果不先麻烦,就先去截取网站的头部信息,charset 就是编码,根据这个判断使用哪种编码格式

NqIceCoffee 2008-02-29

打赏
举报

恩，楼上两位说的没错

如果我使用两个
StreamReader sr1 = new StreamReader(stream, Encoding.Default);
StreamReader sr2 = new StreamReader(stream, Encoding.UTF8);

如何判断哪个是我需要的？

sr1是乱码还是sr2是乱码？