用charset方法判断是不行的，网页中没有这个标签时会出错的
-
等级
本版专家分：3160结帖率 100% -
我是用的xmlhttp方法，怎么样从返回的文件流的头3位中判断出网页的编码。
用charset方法判断是不行的，网页中没有这个标签时会出错的展开阅读全文
-
等级
本版专家分：233782勋章
-
- 状元 2011年 总版技术专家分年内排行榜第一
-
-
金牌
2011年9月 总版技术专家分月排行榜第一
2011年8月 总版技术专家分月排行榜第一
2011年7月 总版技术专家分月排行榜第一
2011年6月 总版技术专家分月排行榜第一
2011年5月 总版技术专家分月排行榜第一
2011年4月 总版技术专家分月排行榜第一
-
-
银牌
2011年3月 总版技术专家分月排行榜第二
2011年2月 总版技术专家分月排行榜第二
-
-
微软MVP
2012年7月 荣获微软MVP称号
2011年7月 荣获微软MVP称号
-
-
/// <summary>
/// 根据 url 获取网页编码
/// </summary>
/// <param name="url"></param>
/// <returns></returns>
public static string GetEncoding(string url)
{
HttpWebRequest request = null;
HttpWebResponse response = null;
StreamReader reader = null;
try
{
request = (HttpWebRequest)WebRequest.Create(url);
request.Timeout = 20000;
request.AllowAutoRedirect = false;
response = (HttpWebResponse)request.GetResponse();
if (response.StatusCode == HttpStatusCode.OK && response.ContentLength < 1024 * 1024)
{
if (response.ContentEncoding != null && response.ContentEncoding.Equals("gzip", StringComparison.InvariantCultureIgnoreCase))
reader = new StreamReader(new GZipStream(response.GetResponseStream(), CompressionMode.Decompress));
else
reader = new StreamReader(response.GetResponseStream(), Encoding.ASCII);
string html = reader.ReadToEnd();
Regex reg_charset = new Regex(@"charset\b\s*=\s*(?<charset>[^""]*)");
if (reg_charset.IsMatch(html))
{
return reg_charset.Match(html).Groups["charset"].Value;
}
else if (response.CharacterSet != string.Empty)
{
return response.CharacterSet;
}
else
return Encoding.Default.BodyName;
}
}
catch
{
}
finally
{
if (response != null)
{
response.Close();
response = null;
}
if (reader != null)
reader.Close();
if (request != null)
request = null;
}
return Encoding.Default.BodyName;
}
-
等级
本版专家分：3160
-
说了不用正则提取charset呀！要从返回的文件流中判断，而不是在字符中取charset判断。
-
等级
本版专家分：1294 -
HttpWebResponse response 里面有这个属性 CharacterSet
-
等级
本版专家分：3160
-
这些方法都不是很好，有没有直接从返回的文件流中判断的
-
等级
本版专家分：42 -
楼主，你找到方法了吗
- 33款可用来抓数据的开源爬虫软件工具
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种自动获取...传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽
- C#实现网页内容正文抓取
C#实现网页内容正文抓取.net
- C#图像处理(各种旋转、改变大小、柔化、锐化、雾化、底片、浮雕、黑白、滤镜效果)
C#图像处理(各种旋转、改变大小、柔化、锐化、雾化、底片、浮雕、黑白、滤镜效果) c#图像处理入门(-bitmap类和图像像素值获取方法) C#全屏截图 用C#实现屏幕截屏功能
- c# HttpWebRequest 抓取网页 自动编码
public WebPage(string _url, string _loginurl, string _post) { string uurl = ""; try { uurl = Uri.UnescapeDataString(_url); _url = uurl; }
- 数据爬取工具
要玩大数据，没有数据怎么玩？这里推荐一些33款开源爬虫软件给大家。 爬虫，即网络爬虫，是一种...传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的U...
- 从网络上收集的爬虫工具，推荐基于python的工具
爬虫，即网络爬虫，是一种自动获取网页内容的程序。是搜索引擎的重要组成部分，因此搜索引擎优化很大程度上就是针对爬虫而做出的优化。 网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是...
- c#信息抓取一：抓取网页源代码
大家拿到代码了首先要去网上下载一个HTMLParser.NET，目前最高版本是2003的，谨记你的VS版本一定不能是2010的，2005和2008都可以。找到动态链接库，然后在项目里添加引用就OK了。 源代码： using System;...
- 开源爬虫汇总表
世界上已经成型的爬虫软件多达上百种，本文对较为知名及常见的开源爬虫软件进行梳理，按开发语言进行汇总，如下表所示。虽然搜索引擎也有爬虫，但本次我汇总的只是爬虫软件，而非大型、复杂的搜索引擎，因为很多兄弟...
- C#抓取网页数据分析
首先将网页内容整个抓取下来，数据放在byte[]中（网络上传输时形式是byte），进一步转化为String，以便于对其操作，实例如下：private static string GetPageData(string url){ if (url == null || url.Trim() == ...
- 免费的中文分词模块
免费的中文分词模块 几个免费的中文分词模块 几个月前做毕业论文的时候需要用到中文分词技术，现在总结一下我所找到的资料。...众所周知，英文是以词为单位的，词和词之间是靠空格隔开，而中文是以字为单位，...
- Eastmount博客导读：专栏系统分类和博客归纳总结
为了更好地帮助博友学习作者的博客，方便作者自己归纳总结专栏，本文详细介绍了作者八年来，在CSDN写的各种专栏，各种系列文章。八年来，作者经历了从本科到硕士，到贵州教书成家，再到现在的博士。...
- MQTT协议接入OneNET （一）
MQTT协议是一个面向物联网应用的即时通信协议，使用TCP/IP提供网络连接，能够对负载内容实现消息屏蔽传输，开销小，可以有效降低网络流量。MQTT协议适用于设备和平台需要保持长连接的使用场景，MQTT特点在于...
- 浏览器分析模拟登陆过程
原文地址：...想要实现使用某种语言，比如Python，C#等，去实现模拟登陆网站的话，首先要做的事情就是使用某种工具，去分析本身使用浏览器去登陆网页的时候，其内部的
- 中科院分词系统整理笔记
NLPIR简介 一套专门针对原始文本集进行处理和加工的软件，提供了中间件处理效果的可视化展示，也可以作为小规模数据的处理加工工具。可以使用该软件对自己的数据进行处理。 NLPIR分词系统前身为2000年发布的...
- C#中HttpWebRequest与HttpWebResponse的使用方法
关键字：C# HttpWebRequest HttpWebResponse HTTP GET POST 请求 ...C# HttpHelper,帮助类,真正的Httprequest请求时无视编码，无视证书，无视Cookie,网页抓取 1.第一招，根据URL地址获取网页信息 先来看一下代码 g...
- 网络爬虫讲解（附java实现的实例）
网络蜘蛛即Web Spider，是一个很形象的名字...网络蜘蛛是通过网页的链接地址来寻找网页，从 网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这
- 【Python学习】Mac下用python+pypcap+dpkt抓取IP数据包并分析（一）
这几天在做网络协议的课程设计，题目是IP数据报流量监控，要求是从本地抓取数据包然后解析并进行统计。 这不是有现成的Wireshark吗。。功能强大好用支持多平台，简直是居家旅行黑人电脑攻击网站必备神器（误），现在...
- 搜索结果排序算法的研究
一、研究背景1、Internet与WWW发展现状[5](1)Internet的发展历程 Internet的前身是美国国防部高级研究计划署的研究试验性网络ARPANET。1983年TCP/IP成为ARPANET上唯一的正式协议。此后，ARPANET上连接的网络、机器...
- .NET面试宝典
c#基础 1、简述 private、 protected、 public、 internal 修饰符的访问权限。 private : 私有成员, 在类的内部才可以访问。 protected : 保护成员，该类内部和继承类中可以访问。 public : 公共成员，完全公开...
- 判断网页里面是否存在【Referer判断跳转】
模拟百度跳转页面 <!-- body { margin-left: 0px; margin-top: 0px; margin-right: 0px; margin-bottom: 0px; overflow:hidden; } .STYLE3 {font-size: 12px; color: #adc9d9; } -->
- C#事件与委托详解【精华 多看看】
Delegate delegate是C#中的一种类型，它实际上是一个能够持有对某个方法的引用的类。与其它的类不同，delegate类能够拥有一个签名（signature），并且它"只能持有与它的签名相匹配的方法的引用"。它所实现的功能与C/...
- c#串口通讯log存储及实时波形绘制
文章目录实际效果展示串口设置及收发部分自动查询串口添加数据监听数据接收数据解码数据显示数据发送log存储部分波形绘制部分图表的初始化从log中抓取最新数据数据队列的更新 做项目的时候需要检测发送给步进马达的...
- [网络安全自学篇] 十四.Python攻防之基础常识、正则表达式、Web编程和套接字通信（一）
前文分享了Wireshark抓包原理知识，并结合NetworkMiner工具抓取了图像资源和用户名密码，本文将讲解Python网络攻防相关基础知识，包括正则表达式、Web编程和套接字通信。本文参考了爱春秋ADO老师的课程内容，这里也...
- [网络安全自学篇] 一.入门笔记之看雪Web安全学习及异或解密示例
最近开始学习网络安全相关知识，接触了好多新术语，感觉自己要学习的东西太多，真是学无止境，也发现了好几个默默无闻写着博客、做着开源的大神。准备好好学习下新知识，并分享些博客与博友们一起进步，加油。...
- C# 中的委托和事件(详解)
C# 中的委托和事件(详解) 转载：http://www.cnblogs.com/SkySoot/archive/2012/04/05/2433639.html C#中的委托和事件 委托和事件在 .NET Framework 中的应用非常广泛，然而，较好地理解委托和事件对很多接触 C# ...
- C#中网页文件下载——HttpWebRequest与HttpWebResponse的使用方法
C# HttpHelper,帮助类,真正的Httprequest请求时无视编码，无视证书，无视Cookie,网页抓取 1.第一招，根据URL地址获取网页信息 先来看一下代码 get方法 public static string GetUrltoHtml(string Url,
- Python老司机手把手带你写爬虫，整站下载妹子图，一次爽个够！
其实很多编程语言都可以做爬虫，例如java、c#、php等等甚至excel都可以抓网页的图表，那么为什么我们要用Python呢？它简单、便捷，而且有好多库可以选择，可以说python是写爬虫的首选了！ 今天就来带大家写一个简单...
- 智鼎(附答案).zip
并不是完整题库，但是有智鼎在线2019年9、10、11三个月的试题，有十七套以上题目，普通的网申行测题足以对付，可以在做题时自己总结一些规律，都不是很难
- Visio_2016
visio_2016下载安装，亲测可用，不需要破解，而且无秘钥。简单方便实用
- .net项目驱动学习
技术选型：MVC5、Mysql、Dapper、Autofac、Layui、阿里巴巴矢量库。 使用时下非常流行的.net技术，通过一步一步教大家做一个角色权限项目来引导大家学习和思考如何从零开始项目开发，虽然我做的是Demo，但都是按照生产项目的规格来做的，也耗费了我不少时间（更多的是调前端组件），大家可以直接将此项目直接应用到实际工作中去。 解决以下问题： 1.许多.net程序员技术水平太差 2.许多.net后端程序员做的界面体验太差 3.许多.net程序员写的代码太烂了（不要重复你的代码、依赖抽象而不是具体） 4.前面三点直接导致工资低