webclient抓取数据乱码的问题-CSDN论坛

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234 结帖率 100%: WebClient web = new WebClient();
Stream stream = web.OpenRead(url);
StreamReader sr = new StreamReader(stream, Encoding.Default);
string webData = sr.ReadToEnd();

这里抓取的大多数网站都不会乱码

但抓取一些的时候就会出现乱码，如何通过简洁的手段，能达到抓取的数据都不会乱码？

请教大虾~~

0 2008-02-29 11:11:39

回复数 17 只看楼主引用举报楼主

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 有的网站使用 GB2312 有的使用UTF8

StreamReader sr = new StreamReader(stream, Encoding.UTF8);

0 2008-02-29 11:14:02

只看TA 引用举报 #1 得分 10

⋅散分喽~~~ ⋅升级当爸爸了，散分 ⋅要过年了，给D版忙了一年的兄弟们发点响 :) 更多帖子 关注私信空间博客 hongqi162 本版专家分：12063 进士 2007年总版技术专家分年内排行榜第九 铜牌 2007年7月总版技术专家分月排行榜第三 红花 2007年9月 Oracle大版内专家分月排行榜第一 2007年7月 Oracle大版内专家分月排行榜第一 2007年6月 Oracle大版内专家分月排行榜第一 2008年7月 Delphi大版内专家分月排行榜第一 2008年3月 Delphi大版内专家分月排行榜第一 2008年2月 Delphi大版内专家分月排行榜第一 2007年12月 Delphi大版内专家分月排行榜第一 2007年11月 Delphi大版内专家分月排行榜第一 2007年10月 Delphi大版内专家分月排行榜第一 2007年9月 Delphi大版内专家分月排行榜第一 2007年7月 Delphi大版内专家分月排行榜第一 2007年6月 Delphi大版内专家分月排行榜第一 2007年4月 Delphi大版内专家分月排行榜第一 2007年1月 Delphi大版内专家分月排行榜第一 黄花 2009年5月 Delphi大版内专家分月排行榜第二 2007年8月 Oracle大版内专家分月排行榜第二 2007年4月 Oracle大版内专家分月排行榜第二 2008年1月 Delphi大版内专家分月排行榜第二 2007年8月 Delphi大版内专家分月排行榜第二 2007年5月 Delphi大版内专家分月排行榜第二 2007年3月 Delphi大版内专家分月排行榜第二 2007年2月 Delphi大版内专家分月排行榜第二: StreamReader(stream, Encoding.Default); //和网站的编码方式有关系吧

0 2008-02-29 11:15:38

只看TA 引用举报 #2 得分 10

⋅散分喽~~~ ⋅升级当爸爸了，散分 ⋅要过年了，给D版忙了一年的兄弟们发点响 :) 更多帖子 关注私信空间博客 hongqi162 本版专家分：12063 进士 2007年总版技术专家分年内排行榜第九 铜牌 2007年7月总版技术专家分月排行榜第三 红花 2007年9月 Oracle大版内专家分月排行榜第一 2007年7月 Oracle大版内专家分月排行榜第一 2007年6月 Oracle大版内专家分月排行榜第一 2008年7月 Delphi大版内专家分月排行榜第一 2008年3月 Delphi大版内专家分月排行榜第一 2008年2月 Delphi大版内专家分月排行榜第一 2007年12月 Delphi大版内专家分月排行榜第一 2007年11月 Delphi大版内专家分月排行榜第一 2007年10月 Delphi大版内专家分月排行榜第一 2007年9月 Delphi大版内专家分月排行榜第一 2007年7月 Delphi大版内专家分月排行榜第一 2007年6月 Delphi大版内专家分月排行榜第一 2007年4月 Delphi大版内专家分月排行榜第一 2007年1月 Delphi大版内专家分月排行榜第一 黄花 2009年5月 Delphi大版内专家分月排行榜第二 2007年8月 Oracle大版内专家分月排行榜第二 2007年4月 Oracle大版内专家分月排行榜第二 2008年1月 Delphi大版内专家分月排行榜第二 2007年8月 Delphi大版内专家分月排行榜第二 2007年5月 Delphi大版内专家分月排行榜第二 2007年3月 Delphi大版内专家分月排行榜第二 2007年2月 Delphi大版内专家分月排行榜第二: 分析一下网站的编码方式再抓取数据吧

0 2008-02-29 11:20:07

只看TA 引用举报 #3 得分 0

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 恩，楼上两位说的没错

如果我使用两个
StreamReader   sr1   =   new   StreamReader(stream,   Encoding.Default);
StreamReader   sr2   =   new   StreamReader(stream,   Encoding.UTF8);

如何判断哪个是我需要的？

sr1是乱码还是sr2是乱码？

0 2008-02-29 11:22:45

只看TA 引用举报 #4    得分 0

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 那你就要事先了解一下这个网站的编码

如果不先麻烦,就先去截取网站的头部信息,charset 就是编码,根据这个判断使用哪种编码格式

0 2008-02-29 11:25:15

只看TA 引用举报 #5 得分 0

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 3楼的兄弟

如果我抓到的是乱码

如何分析？

这样做貌似有点像：先有蛋后有鸡。

0 2008-02-29 11:28:49

只看TA 引用举报 #6 得分 0

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 5楼的兄弟

这个站点是用户手动输入的

没法了解它的编码规则

0 2008-02-29 11:31:18

只看TA 引用举报 #7 得分 0

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 英文会有乱码？你就先把头部的信息抓回来就是<head></head>之间的，或者更简单的用个证则去匹配 charset=

0 2008-02-29 11:31:24

只看TA 引用举报 #8 得分 10

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 回8楼

如果站点没有头信息呢？

我也试过，如果有乱码，正则匹配不到结果

0 2008-02-29 11:33:54

只看TA 引用举报 #9 得分 0

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 没有头信息？？？什么情况没有头信息？？

0 2008-02-29 11:35:03

只看TA 引用举报 #10 得分 10

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: <meta http-equiv="Content-Type" content="text/html; charset=gb2312" />
OR
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />

就是这两个头信息

0 2008-02-29 11:39:24

只看TA 引用举报 #11 得分 0

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 对阿，网页都应该有这个头部信息的

0 2008-02-29 11:41:04

只看TA 引用举报 #12 得分 10

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 判断 charset 的值，然后根据这个值来确定采用哪种编码格式

0 2008-02-29 11:41:40

只看TA 引用举报 #13 得分 0

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 我说的意思是：

有些站点没有这个信息

即使有这个信息，如果我抓回来的是乱码

正则也匹配不出结果

0 2008-02-29 11:44:33

只看TA 引用举报 #14 得分 0

⋅8年.net 4年java 想找个稳定的工作 ⋅asp.net 操作Excel 问题急！！！ ⋅python file.readline 遇到乱码自动结束 更多帖子 关注私信空间博客 milo4210 本版专家分：5665: 首先，请问那些站点没有这个信息？？
再有，即使是乱码，但英文不会有乱码的，你可以单独把<meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> 这行提取出来，不一定选择证则

0 2008-02-29 11:49:48

只看TA 引用举报 #15 得分 0

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 肯定会有没有加 <meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> 这个标记的

不知道哪位大虾有解决的办法

顶了~~~

0 2008-03-12 14:10:43

只看TA 引用举报 #16 得分 0

⋅【分享+源码+示例】EMIT实现从表单或者URL中创建对象 ⋅真是奇闻，foreach的循环也能越界。。。。擦 ⋅求一正则表达式，大牛进~~ 更多帖子 关注私信空间博客 nqicecoffee 本版专家分：5234: 为何顶不起来？

0 2008-03-12 14:17:58

只看TA 引用举报 #17 得分 0

webclient抓取数据乱码的问题 [问题点数：50分，结帖人NqIceCoffee]