c#抓取的网页怎么自动判断编码

2011-04-03 09:18:48 332 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

c#信息抓取一：抓取网页源代码大家拿到代码了首先要去网上下载一个HTMLParser.NET，目前最高版本是2003的，谨记你的VS版本一定不能是2010的，2005和2008都可以。找到动态链接库，然后在项目里添加引用就OK了。源代码： using System; using System.Collections.Generic; using System.ComponentModel; using System.Da 阅读详情

我是用的xmlhttp方法，怎么样从返回的文件流的头3位中判断出网页的编码。
用charset方法判断是不行的，网页中没有这个标签时会出错的

...全文

1.毫米波雷达心率、呼吸原理实现（一）实例毫米波雷达心率、呼吸检测原理本项目分两到三篇文章写完，第一阶段借鉴TI开源项目以及根据自己的见解适当更改信号处理链通过AWR1843汽车雷达传感器和DCA1000采集卡采集数据完成人体呼吸和心跳检测算法的实现。第二阶段将仿真成功的代码搬移TIAWR1843传感器并通过串口数据实现生命体征的实时处理。本文即为第一阶段实现过程。本文首先概述毫米波雷达呼吸心跳检测的原理，紧接着概述本项目信号处理流程，另外本项目第一阶段通过matlab仿真验证算法的有效性，仿真源码可关注小编并私信可取。1.概述。阅读详情

lshfong

C# 111,128 成员 642,537 内容

+ 关注 + 加入社区

切换为时间正序

hskire 2012-10-07

打赏
举报

楼主，你找到方法了吗

lshfong 2011-04-13

打赏
举报

这些方法都不是很好，有没有直接从返回的文件流中判断的

验证码识别 2011-04-03

打赏
举报

HttpWebResponse response 里面有这个属性 CharacterSet

lshfong 2011-04-03

打赏
举报

说了不用正则提取charset呀！要从返回的文件流中判断，而不是在字符中取charset判断。

子夜__ 2011-04-03

打赏
举报

/// <summary>

        /// 根据 url 获取网页编码

        /// </summary>

        /// <param name="url"></param>

        /// <returns></returns>

        public static string GetEncoding(string url)

        {

            HttpWebRequest request = null;

            HttpWebResponse response = null;

            StreamReader reader = null;

            try

            {

                request = (HttpWebRequest)WebRequest.Create(url);

                request.Timeout = 20000;

                request.AllowAutoRedirect = false;



                response = (HttpWebResponse)request.GetResponse();

                if (response.StatusCode == HttpStatusCode.OK && response.ContentLength < 1024 * 1024)

                {

                    if (response.ContentEncoding != null && response.ContentEncoding.Equals("gzip", StringComparison.InvariantCultureIgnoreCase))

                        reader = new StreamReader(new GZipStream(response.GetResponseStream(), CompressionMode.Decompress));

                    else

                        reader = new StreamReader(response.GetResponseStream(), Encoding.ASCII);



                    string html = reader.ReadToEnd();



                    Regex reg_charset = new Regex(@"charset\b\s*=\s*(?<charset>[^""]*)");

                    if (reg_charset.IsMatch(html))

                    {

                        return reg_charset.Match(html).Groups["charset"].Value;

                    }

                    else if (response.CharacterSet != string.Empty)

                    {

                        return response.CharacterSet;

                    }

                    else

                        return Encoding.Default.BodyName;

                }

            }

            catch

            {

            }

            finally

            {



                if (response != null)

                {

                    response.Close();

                    response = null;

                }

                if (reader != null)

                    reader.Close();



                if (request != null)

                    request = null;



            }



            return Encoding.Default.BodyName;

        }

c#抓取的网页怎么自动判断编码

相关推荐