C#抓取网页乱码
我抓取的地址是搜狐焦点论坛的,例如这个地址:
http://sz.focus.cn/msglist/51806/
编码我试过很多种,gb2312,utf-8...都试过了,始终是乱码。
抓取html代码的程序很简单
能否有哪位大神写个简单的抓取,就应对上面那个地址,乱码整的心慌慌啊。
http://sz.focus.cn/msglist/51806/
编码我试过很多种,gb2312,utf-8...都试过了,始终是乱码。
抓取html代码的程序很简单
能否有哪位大神写个简单的抓取,就应对上面那个地址,乱码整的心慌慌啊。
public static void GetWebContent(string url)
{
try
{
HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create(url);
//myHttpWebRequest.SendChunked = true;
//myHttpWebRequest.TransferEncoding = "gb2312";
HttpWebResponse myHttpWebResponse = (HttpWebResponse)myHttpWebRequest.GetResponse();
myHttpWebRequest.ContentType = "text/html";
//Console.WriteLine("The encoding method used is: " + myHttpWebResponse.ContentEncoding);
Console.WriteLine("字符编码:" + myHttpWebResponse.CharacterSet);
Stream webStream = myHttpWebResponse.GetResponseStream();
string encoding = myHttpWebResponse.CharacterSet;
//经过大量测试发现.NET会将gb2312的编码格式识别为ISO-8859-1,故作此处理
encoding = (encoding == "ISO-8859-1") ? "gb2312" : encoding;
//获取的内容是否属于文本
char seperator = '/';
String contenttype = myHttpWebResponse.ContentType;
// 返回 'text' 如果文本类型是'text/html.
String maintype = contenttype.Substring(0, contenttype.IndexOf(seperator));
// 只保存内容为'text'类型的网页,不保存示图片等其他文件
if (String.Compare(maintype, "text") == 0)
{
Console.WriteLine("\n Content type is 'text'.");
StreamReader sw = new StreamReader(webStream, System.Text.Encoding.GetEncoding(encoding));
Console.WriteLine("网页内容:");
StringBuilder sb = new StringBuilder();
while (sw.Peek() >= 0)
{
string strWebContent = sw.ReadLine();
sb.Append(strWebContent);
}
sw.Close();
sw.Dispose();
webStream.Close();
Console.WriteLine(sb.ToString());
}
else
{
Console.Write("网页内容不是文本无法显示!");
}
}
catch (Exception ex)
{
Console.WriteLine("Error:" + ex.Message);
}
}
...全文
相关推荐
C#2005抓取网页地址
本项目是基于C# .NET 2005实现的一个网络爬虫示例,旨在帮助开发者了解如何利用C#语言进行网页抓取。下面我们将深入探讨C#抓取网页地址的相关知识点。
网页抓取的C#代码
### 网页抓取的C#代码解析在当今数据驱动的世界中,网页抓取技术变得越来越重要。它能够帮助我们从网络上提取有价值的信息,并进行进一步的分析或存储。本篇将深入分析一段使用C#语言编写的网页抓取代码。
asp.net c# 抓取页面信息方法介绍
根据需要调整抓取频率,如每2分钟抓取一次。3. **网页编码问题**: - 网页编码问题常常导致乱码,解决的关键在于正确识别并处理字符编码。
抓取方法标题和内容取出(包括乱码问题
本文将详细解析如何通过C#语言编写网页爬虫来解决上述问题。#### 抓取数据的基本步骤1.
C# webclient中文乱码问题解决方法
本文将深入探讨如何解决使用WebClient类抓取远程页面时遇到的中文乱码问题。首先,我们要理解乱码的根源。


