webclient抓取数据乱码的问题

2008-02-29 11:11:39 413 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

c#信息抓取一：抓取网页源代码大家拿到代码了首先要去网上下载一个HTMLParser.NET，目前最高版本是2003的，谨记你的VS版本一定不能是2010的，2005和2008都可以。找到动态链接库，然后在项目里添加引用就OK了。源代码： using System; using System.Collections.Generic; using System.ComponentModel; using System.Da 阅读详情

WebClient web = new WebClient();
Stream stream = web.OpenRead(url);
StreamReader sr = new StreamReader(stream, Encoding.Default);
string webData = sr.ReadToEnd();

这里抓取的大多数网站都不会乱码

但抓取一些的时候就会出现乱码，如何通过简洁的手段，能达到抓取的数据都不会乱码？

请教大虾~~

...全文

PowerShell文件下载全攻略：Invoke-WebRequest、WebClient与BitsTransfer实战解析在Windows系统管理与自动化运维中，命令行文件下载是提升效率的核心技能。其原理基于HTTP/HTTPS/FTP等网络协议，通过脚本化请求实现远程资源获取，技术价值在于摆脱图形界面依赖，实现批量处理与无人值守操作，广泛应用于服务器部署、日志抓取和软件更新等场景。本文聚焦PowerShell生态，深入对比Invoke-WebRequest、System.Net.WebClient和BitsTransfer三大工具，其中Invoke-WebRequest作为功能全面的HTTP客户端，支持进度显示和会话管理；而阅读详情

NqIceCoffee

.NET社区 62,272 成员 668,968 内容

+ 关注 + 加入社区

切换为时间正序

NqIceCoffee 2008-03-12

打赏
举报

为何顶不起来？

NqIceCoffee 2008-03-12

打赏
举报

肯定会有没有加 <meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> 这个标记的

不知道哪位大虾有解决的办法

顶了~~~

milo4210 2008-02-29

打赏
举报

首先，请问那些站点没有这个信息？？
再有，即使是乱码，但英文不会有乱码的，你可以单独把<meta http-equiv="Content-Type" content="text/html; charset=gb2312" /> 这行提取出来，不一定选择证则

NqIceCoffee 2008-02-29

打赏
举报

我说的意思是：

有些站点没有这个信息

即使有这个信息，如果我抓回来的是乱码

正则也匹配不出结果

milo4210 2008-02-29

打赏
举报

判断 charset 的值，然后根据这个值来确定采用哪种编码格式

milo4210 2008-02-29

打赏
举报

对阿，网页都应该有这个头部信息的

NqIceCoffee 2008-02-29

打赏
举报

milo4210 2008-02-29

打赏
举报

没有头信息？？？什么情况没有头信息？？

NqIceCoffee 2008-02-29

打赏
举报

回8楼

如果站点没有头信息呢？

我也试过，如果有乱码，正则匹配不到结果

milo4210 2008-02-29

打赏
举报

英文会有乱码？你就先把头部的信息抓回来就是<head></head>之间的，或者更简单的用个证则去匹配 charset=

NqIceCoffee 2008-02-29

打赏
举报

5楼的兄弟

这个站点是用户手动输入的

没法了解它的编码规则

NqIceCoffee 2008-02-29

打赏
举报

3楼的兄弟

如果我抓到的是乱码

如何分析？

这样做貌似有点像：先有蛋后有鸡。

milo4210 2008-02-29

打赏
举报

那你就要事先了解一下这个网站的编码

如果不先麻烦,就先去截取网站的头部信息,charset 就是编码,根据这个判断使用哪种编码格式

NqIceCoffee 2008-02-29

打赏
举报

恩，楼上两位说的没错

如果我使用两个
StreamReader sr1 = new StreamReader(stream, Encoding.Default);
StreamReader sr2 = new StreamReader(stream, Encoding.UTF8);

如何判断哪个是我需要的？

sr1是乱码还是sr2是乱码？

hongqi162 2008-02-29

打赏
举报

分析一下网站的编码方式再抓取数据吧

hongqi162 2008-02-29

打赏
举报

StreamReader(stream, Encoding.Default); //和网站的编码方式有关系吧

milo4210 2008-02-29

打赏
举报

有的网站使用 GB2312 有的使用UTF8

StreamReader sr = new StreamReader(stream, Encoding.UTF8);

webclient抓取数据乱码的问题

相关推荐