[散分分享代码]HttpWebRequest获取网页源代码时自动识别网页编码

[iuhxq]

       /// <summary>
        /// 获取源代码
        /// </summary>
        /// <param name="url"></param>
        /// <returns></returns>
        static string GetHtml(string url, Encoding encoding)
        {
            HttpWebRequest request = null;
            HttpWebResponse response = null;
            StreamReader reader = null;
            try
            {
                request = (HttpWebRequest)WebRequest.Create(url);
                request.Timeout = 20000;
                request.AllowAutoRedirect = false;

                response = (HttpWebResponse)request.GetResponse();
                if (response.StatusCode == HttpStatusCode.OK && response.ContentLength < 1024 * 1024)
                {
                    if (response.ContentEncoding != null && response.ContentEncoding.Equals("gzip", StringComparison.InvariantCultureIgnoreCase))
                        reader = new StreamReader(new GZipStream(response.GetResponseStream(), CompressionMode.Decompress), encoding);
                    else
                        reader = new StreamReader(response.GetResponseStream(), encoding);
                    string html = reader.ReadToEnd();

                    return html;
                }
            }
            catch
            {
            }
            finally
            {

                if (response != null)
                {
                    response.Close();
                    response = null;
                }
                if (reader != null)
                    reader.Close();

                if (request != null)
                    request = null;

            }

            return string.Empty;
        }

GetEncoding方法请查看：GetEncoding

[greystar]

不错

[winflying36]

学习

[wuyi8808]

[Quote=引用 13 楼 iuhxq 的回复:]
不过我还有个问题。

编码存在几个地方：
1、页面里
2、http头里

你只从页面里取编码，要是页面里没有的，你的可以分析出编码吗？
[/Quote]

这个倒没有考虑到，不知有没有这种网站的例子，可以试试看。 :)

[iuhxq]

有的，你看我另外一个站：http://745.cc

这个站需要读取大量的页面，所以会遇到形形色色的网页。

[iuhxq]

我的小站http://www.svnhost.cn
孟子的站http://dotnet.aspx.cc

都是没有页面编码的。不过刚巧它们都是UTF-8的

[iuhxq]

你试试读取http://www.51aspx.com站的源代码。

[一品梅]

收藏

[MADfox1983]

mark学习

[FackMan]

不错~

[FackMan]

不错~

[FackMan]

支持``
感谢楼主分享

[Adechen]

学习，收藏

[Adechen]

学习，收藏

[wuyi8808]

[Quote=引用 19 楼 iuhxq 的回复:]
你试试读取http://www.51aspx.com站的源代码。
[/Quote]

确实，我的程序会错误地把网页编码识别为UTF-8，从而读出的中文都是乱码。必须这样才是正确的：

GetHtml("http://www.51aspx.com", Encoding.GetEncoding("GB18030"))

[MicroYee]

关注一下没有编码的处理...呵呵

[olanty]

2楼的那个好啊~

[lelepu]

请教下，你可以识别出www.cg160.cn 网站真正的编码吗
我用的是UFT-8的，但是google说我用的是GBK，我都晕死了 求助大哥了

[Delta]

收藏了，谢谢分享。

[superliyubo]

mark!!!!!!!!!!!!!!!!!!!!!!

[xvv13]

楼主,我把你代码改了一下
你的代码判断&解析的效率很低,判断下一次网页,解析一次
但是我发现一个问题 却怎么也不明白到底哪里错了!
描述一下:reader1.ReadToEnd 读的都是空字符串

static string GetHtml(string url)
{
HttpWebRequest request = null;
HttpWebResponse response = null;
StreamReader reader = null;
StreamReader reader1 = null;

try
{
request = (HttpWebRequest)WebRequest.Create(url);
request.Timeout = 20000;
request.AllowAutoRedirect = false;

response = (HttpWebResponse)request.GetResponse();


if (response.StatusCode == HttpStatusCode.OK && response.ContentLength < 1024 * 1024)
{
if (response.ContentEncoding != null && response.ContentEncoding.Equals("gzip", StringComparison.InvariantCultureIgnoreCase))
reader = new StreamReader(new GZipStream(response.GetResponseStream(), CompressionMode.Decompress));
else
reader = new StreamReader(response.GetResponseStream(), Encoding.UTF8);

string html = reader.ReadToEnd();

Regex reg_charset = new Regex(@"charset\b\s*=\s*(?<charset>[^""]*)");
if (reg_charset.IsMatch(html))
{
reader1 = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding(reg_charset.Match(html).Groups["charset"].Value));
}
else if (response.CharacterSet != string.Empty)
{
reader1=new StreamReader(response.GetResponseStream() ,Encoding.GetEncoding( response.CharacterSet));
}
else
reader1=new StreamReader (response .GetResponseStream() , Encoding.Default);

string src = reader1.ReadToEnd();
return src;
}

}
catch{ }
finally
{
if (response != null)
{
response.Close();
response = null;
}

if (reader != null)
reader.Close();

if (request != null)
request = null;

if (reader1 != null)
reader1 = null;

}
return Encoding.Default.BodyName;

}