如何判断一个txt文件采用的编码方式?

VC/MFC > 基础类
收藏 回复
[问题点数：20分，结帖人iamluda]
更多帖子
私信 空间 博客
iamluda
等级
本版专家分：683
结帖率 100%
用windows的记事本编写的txt文件,保存后有4中编码格式
1. ANSI  2. unicode 3. unicode big endian 4. UTF-8

如何才能判断一个txt文件采用的编码方式?

对我的应用来说,我的程序仅仅能识别 ANSI编码方式,我该如何转换其他编码方式的文件到ANSI?
只看楼主 引用 举报 楼主 收起
展开阅读全文
更多帖子
私信 空间 博客
ouyh12345
等级
本版专家分：90414
勋章
Blank
蓝花 2008年7月 VC/MFC大版内专家分月排行榜第三
2007年11月 VC/MFC大版内专家分月排行榜第三
google 记事本 编码格式

有个例子可以参考一下：
如何判断文本文件的编码格式？

主要代码：
case   0xefbb:  
            code="UTF-8";  
            break;  
        case   0xfffe:  
            code="Unicode";  
            break;  
        case   0xfeff:  
            code="Unicode   big   endian";  
            break;  
      default:  
            code="ANSI";   
只看TA 引用 举报 #1得分 5
更多帖子
私信 空间 博客
cnzdgs
等级
本版专家分：255346
勋章
Blank
状元 2008年 总版技术专家分年内排行榜第一
Blank
进士 2009年 总版技术专家分年内排行榜第四
Blank
金牌 2009年2月 总版技术专家分月排行榜第一
2009年1月 总版技术专家分月排行榜第一
2008年11月 总版技术专家分月排行榜第一
2008年10月 总版技术专家分月排行榜第一
2008年9月 总版技术专家分月排行榜第一
2008年8月 总版技术专家分月排行榜第一
2008年7月 总版技术专家分月排行榜第一
2008年6月 总版技术专家分月排行榜第一
2008年5月 总版技术专家分月排行榜第一
2008年4月 总版技术专家分月排行榜第一
Blank
银牌 2008年12月 总版技术专家分月排行榜第二
2008年3月 总版技术专家分月排行榜第二
2008年2月 总版技术专家分月排行榜第二
LS写反了吧？应该是0xbbef、0xfeff、oxfffe。
用MultiByteToWideChar先转成Unicode，再用WideCharToMultiByte转成多字节。
只看TA 引用 举报 #2得分 0
更多帖子
私信 空间 博客
goodwinds
等级
本版专家分：286
记事本保存文件时，在开头加入几个字节，来判断字符集或编码
    开头字节   Charset/encoding   
    FF FE     unicode
    FE FF     unicode big endian 
    EF  BB 8F UTF8
你可以保存不同的编码方式，用UltraEdit打开查看二进制。

你的程序读出文件，判断前面几个字节就可以了

用WideCharToMultiByte进行不同字符编码的转换。
  
只看TA 引用 举报 #3得分 5
更多帖子
私信 空间 博客
ouyh12345
等级
本版专家分：90414
勋章
Blank
蓝花 2008年7月 VC/MFC大版内专家分月排行榜第三
2007年11月 VC/MFC大版内专家分月排行榜第三
引用 2 楼 cnzdgs 的回复:
LS写反了吧？应该是0xbbef、0xfeff、oxfffe。
用MultiByteToWideChar先转成Unicode，再用WideCharToMultiByte转成多字节。


源码里还有一些处理
只看TA 引用 举报 #4得分 0
更多帖子
私信 空间 博客
greatws
等级
本版专家分：23237
对，cnzdgs说的没错，有高低位互换的问题。

不过还有无BOM的文本文件，就要根据字符来判断了
参考http://topic.csdn.net/u/20080518/13/4192c3b5-52e4-442d-962a-1f17293ba50e.html
只看TA 引用 举报 #5得分 0
更多帖子
私信 空间 博客
greatws
等级
本版专家分：23237
UTF8 to unicode
http://topic.csdn.net/u/20080514/18/c6ad1ab7-24e8-40a3-a9f9-0a9f712e3df1.html

ansi to utf8
http://topic.csdn.net/u/20080508/17/e2ce8c52-b27a-4b56-b7bb-439373f0c214.html

参考下就差不多了
只看TA 引用 举报 #6得分 0
更多帖子
私信 空间 博客
版主
智能卡_Snooper
等级
本版专家分：115067
勋章
Blank
微软MVP 2012年4月 荣获微软MVP称号
2003年4月 荣获微软MVP称号
Blank
红花 2008年2月 VB大版内专家分月排行榜第一
2003年4月 VC/MFC大版内专家分月排行榜第一
2002年11月 VC/MFC大版内专家分月排行榜第一
Blank
黄花 2011年11月 VC/MFC大版内专家分月排行榜第二
2008年3月 VB大版内专家分月排行榜第二
2008年3月 硬件/嵌入开发大版内专家分月排行榜第二
2003年4月 其他开发语言大版内专家分月排行榜第二
2003年4月 VB大版内专家分月排行榜第二
2003年3月 VB大版内专家分月排行榜第二
Blank
蓝花 2008年5月 其他开发语言大版内专家分月排行榜第三
2008年4月 其他开发语言大版内专家分月排行榜第三
2008年3月 其他开发语言大版内专家分月排行榜第三
2003年3月 VC/MFC大版内专家分月排行榜第三
2003年5月 其他开发语言大版内专家分月排行榜第三
先读前几个字节，判断编码，然后再读后面的，API转换。

//UNICODE little endian

char *

u2s( unsigned char *buf, unsigned short length, char *tmpbuf )

{

	int i;

	char *p;

	char s[ 10 ] = "";

	wchar_t wstr[ 1 ];

	CString mstr;

	int l, curlen;



	*tmpbuf = 0;

	curlen = 0;

	mstr = _T( "" );



	for( i = 0; i < ( int )length; i += 2 )

	{

		p = ( char * )wstr;

		*p = *( buf + 1 );			//high

		*( p + 1 ) = *buf;			//low

		mstr = wstr;

		memset( s, 0, sizeof( s ) );

		strcat( s, ( const char * )mstr );

		if( *buf )		//if low is not 0

		{

			s[ 2 ] = 0;

			l = 2;

		}

		else

		{

			s[ 1 ] = 0;

			l = 1;

		}

			

		strcat( tmpbuf + curlen, ( const char * )s );

		curlen += l;



		buf += 2;

	}



	return tmpbuf;

}



//unicode big endian

char *

unicode2s( unsigned char *buf, unsigned short length, char *tmpbuf )

{

	int i;

	char *p;

	char s[ 10 ] = "";

	wchar_t wstr[ 1 ];

	CString mstr;

	int l, curlen;



	*tmpbuf = 0;

	curlen = 0;

	mstr = _T( "" );



	for( i = 0; i < ( int )length; i += 2 )

	{

		p = ( char * )wstr;

		*p = *( buf );			//high

		*( p + 1 ) = *( buf + 1 );			//low

		mstr = wstr;

		memset( s, 0, sizeof( s ) );

		strcat( s, ( const char * )mstr );

		if( *( buf + 1 ) )		//if low is not 0

		{

			s[ 2 ] = 0;

			l = 2;

		}

		else

		{

			s[ 1 ] = 0;

			l = 1;

		}

			

		strcat( tmpbuf + curlen, ( const char * )s );

		curlen += l;



		buf += 2;

	}



	return tmpbuf;

}



//utf8 convert to gb

char *

utf82ascii( unsigned char *utf8, unsigned short length, char *buf )

{

	int i = 0;

	unsigned short a;

	unsigned char b;

	char *p = buf;

	unsigned char t[ 2 ];





	do

	{

		if( 0xe0 == ( *utf8 & 0xf0 ) &&

			0x80 == ( *( utf8 + 1 ) & 0xc0 ) &&

			0x80 == ( *( utf8 + 2 ) & 0xc0 ) )

		{

			//3个字节

			b = *utf8;

			b &= 0x0f;

			a = b;



			a <<= 6;

			b = *( utf8 + 1 );

			b &= 0x3f;

			a |= b;



			a <<= 6;

			b = *( utf8 + 2 );

			b &= 0x3f;

			a |= b;



			t[ 0 ] = ( a >> 8 ) & 0xff;

			t[ 1 ] = ( a & 0xff );

			u2s( t, 2, p );



			p += 2;



			i += 3;

			utf8 += 3;

		}

		else if ( 0xc0 == ( *utf8 & 0xe0 ) &&

				0x80 == ( *( utf8 + 1 ) & 0xc0 ) )

		{

			//2个字节

			b = *utf8;

			b &= 0x1f;

			a = b;



			a <<= 6;

			b = *( utf8 + 1 );

			b &= 0x3f;

			a |= b;



			t[ 0 ] = ( a >> 8 ) & 0xff;

			t[ 1 ] = ( a & 0xff );

			u2s( t, 2, p );



			p += 2;



			i += 2;

			utf8 += 2;

		}

		else

		{

			//1个字节

			*( p++ ) = *( utf8++ );

			

			i++;

		}

	} while ( i < length );

	*p = 0;

	

	return buf;

}
只看TA 引用 举报 #7得分 10
更多帖子
私信 空间 博客
iamluda
等级
本版专家分：683
UNICODE 编码的格式,表示一个字符要两个字节表示一个字符。汉字和英文的占用字节数相同。
utf8    编码的格式,表示一个字符需要的字节是不固定的.
由于文件比较大,因此要分段读取,然后进行转换,对于utf8 这样编码格式的文件,缓冲区该如何处理呢?

代码如下:
CStdioFile myFile;
unsigned char p_buf;////先读的字节

Cstring temp_str;//转换后的字符串

#define BUF_SIZE  2048
unsigned char buf[BUF_SIZE];//要转换的数据
unsigned char buf_out[BUF_SIZE];//转换后的数据

//先读上2个字节  
myFile.Read(&p_buf,1);
int  p = p_buf * 256;
myFile.Read(&p_buf,1);
p = p_buf + p;
//文件读指针回到首位
myFile.Seek(0, CFile::begin);

int n=1;//实际读取的字节数

switch(p)   
{   
case   0xefbb:  //"UTF-8" 
                  //对于UTF-8该如何处理??
                  
  break;   
case   0xfffe:  // unicode小端格式
while(n)
{
    n=fread(buf, 1, BUF_SIZE, pFile);
                    u2s(buf,n,buf_out);
                    temp_str += buf;
    memset(buf,0,BUF_SIZE);
                    memset(buf,0,BUF_SIZE);
}
                break;   
case   0xfeff:  //"Unicode   big   endian" 
                  //处理方法同上面
                  break;   
default:  //ANSI 
   break;   
}


对于utf8 这样编码格式的文件,缓冲区该如何处理呢?

只看TA 引用 举报 #8得分 0
收起
收藏 回复
iamluda

等级：

关注 私信 TA的帖子
判断TXT文件的编码方式

判断TXT文件的编码方式，以避免打开时出现乱码（UniversalDetector） juniversalchardet-1.0.3.jar已上传，正在审核 public static String getCharset(File file) { String DEFAULT_ENCODING = "GBK"; if (!...

如何判断一个文本文件内容的编码格式 UTF-8 ? ANSI(GBK)

UTF-8编码的文本文档，有的带有BOM (Byte Order ...在判断这类文档时，可以根据文档的前3个字节来进行判断。然而BOM不是必需的，而且也不是推荐的。对不希望UTF-8文档带有BOM的程序会带来兼容性问题，例如Java编译器在

判断TXT文件编码方式

import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream; /** * describe:和文件相关的操作类 * * @author liuli * @date 2019/02/25 ... //判断编码格式方...

如何判断一个文本文件的编码

检测策略 如果2个字节是0xFF 0xFE,则以Unicode（LE）的方式读取 如果2个字节是0xFE 0xFF,则以...判断是否符合UTF-8的编码规范，如果符合就以UTF-8的方式进行读取 如果以上都不是，则以ANSI的方式进行读取。 代码...

python判断文件使用什么编码方式编码的。

# 说明：UTF兼容ISO8859-1和ASCII，GB18030兼容GBK，GBK兼容GB2312，GB2312兼容ASCIICODES = ['UTF-8', 'UTF-16', 'GB18030', 'BIG5']# UTF-8 BOM前缀字节UTF_8_BOM = b'\xef\xbb\xbf'# 获取文件编码类型def file_...

ubuntu 修改txt文件编码方式（iconv）

file **.txt 修改文件编码方式 2.1编码的问题 GB2312是国家制定的汉字编码标准，使用双子节进行编码，共收入6763个汉字和682个非汉字图形字符。GBK即对国标编码的扩展，在GB2312的基础上进行扩展形成的，使用双子...

《Python程序设计与算法基础教程（第二版）》江红 余青松 全部章节的课后习题，上机实践，课后答案，案例...

1. 这本书对Python的知识点的描述很详细，而且排版看的很舒服. 2. 几个例题：假装自己从零开始学，将一些有代表性、有意思的例题抽取出来. 3. 还有自己对一部分课后复习题，全部课后上机实践题的解题思路

嵩天老师-Python语言程序设计-Python123配套练习测验题目汇总整理

Python语言中的缩进在程序中长度统一且强制使用，只要统一即可，不一定是4个空格（尽管这是惯例） IPO模型指：Input Process Output 字符串的正向递增和反向递减序号体系：正向是从左到右，0到n-1，反向是从右到左...

字符编码方式及判断整理（ANSI，Unicode,utf-8,utf-16,utf-32）

一、编码方式  说编码之前，先扯个淡！大家都知道计算机只能识别1和0，编码就是将不同的符号与1和0的组合进行一下映射，做到能够表示哪个组合能够对应那个字符，由于早期的不能预料到未来的情况，后续互联网扩张后...

常见的编码格式/txt文件乱码

属于单字节编码ASCII码使用7bit表示一个字符，共128个字符。是基于拉丁字母的一套电脑编码系统，主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统。 ANSI编码：是在ASCII编码的基础上拓展的...

你了解java中的几种编码方式？解决乱码问题可能并不麻烦

编码的转换通常在IO机制中使用，一个好的编码可以为我们节省很多空间，在某种程度上提高我们应用的效率。由于之前就知道String中的转换方式，还有一些工具类，因此今天就好好的整理一下java中jdk提供的几种转换方式...

java判断文件编码格式

 按照给定的字符集存储文件时，在文件的最开头的三个字节中就有可能存储着编码信息，所以，基本的原理就是只要读出文件前三个字节，判定这些字节的值，就可以得知其编码的格式。其实，如果项目运行的平台就是中文...

判断一段文件是UTF-8编码还是GB2312的编码方式

对于只包含中文和英文的文本中判断编码方式是非常简单的，中文...这里我只是提供一种可行的方法，如果判断GBK也可以采用类似的方式首先分析一下汉字在GB2312中的编码方式，gb2312规则汉字采用双字节编码其中第一字节161

自动检测TXT文件编码

自动检测文本文件编码的代码（只能简单判断是UTF-8或不是UTF-8），因为一般除了UTF-8之外就是GBK，所以就设置默认为GBK。 String charsetDetect(String path) {  String _charset="";  try {  File file ...

Microsoft VS Code改变文件打开默认编码及自动匹配文件编码格式

描述：由于Powershell和MDK工程文件集默认全部采用gb2312编码，使用VS Code打开的时候每个文件都需要选择文件编码格式，可以改变VS Code的默认编码格式，这样就方便多了。 VS Code版本：1.37.1 配置： 1.文件...

前端面试题

每个HTML文件里开头都有个很重要的东西，Doctype，知道这是干什么的吗？ 21 Quirks模式是什么？它和Standards模式有什么区别 21 div+css的布局较table布局有什么优点？ 22 img的alt与title有何异同？ strong与em的...

windows环境下新建.txt文件，使其默认以UTF-8编码

windows环境下新建.txt文件，默认以ANSI格式编码。这种格式编码的文件，放到ubuntu上很可能会乱码。于是我就想，如何设置windows，才能使新建的.txt文件默认以UTF-8编码？ 探索了一番，决定放弃“记事本”程序。 ...

C#基础教程-c#实例教程，适合初学者

第一章 C#语言基础 本章介绍C#语言的基础知识，希望具有C语言的读者能够基本掌握C#语言，并以此为基础，能够进一步学习用C#语言编写window应用程序和Web应用程序。当然仅靠一章的内容就完全掌握C#语言是不可能的，...

java读取、写入（读写）txt文件中文乱码问题（相对应编码）及修改eclipse默认编码

java读取、写入（读写）txt文件中文乱码问题（相对应编码）

用python将txt文件拆分成多个小文件

txt文件本身为由逗号区分开的连续字符串，字符串均为链接，因此一般特征也比较明显，文件如下： 首先想到方法是用with open read函数获取文件信息，通过’,‘来拆分各个url，按照url域名来得到小文件名，从而完成...

JavaWeb笔记

JavaWeb

测试开发笔记

第一章 测试基础 7 什么是软件测试： 7 ★软件测试的目的、意义：（怎么做好软件测试） 7 3.软件生命周期： 7 第二章 测试过程 8 1.测试模型 8 H模型： 8 V模型 9 2.内部测试 10 3外部测试： 10 验收测试：（在系统...

python读写不同编码txt文件

以后整理规范 import os import codecs filenames=os.listdir(os.getcwd()) out=file("name.txt","w") ...for filename in filenames: ... out.write(filename.decode("gb2312").encode("utf-8")) ...将执行文件的当

C#操作读写文本文件txt

计算机在最初只支持ASCII编码，但是后来为了支持其他语言中的...在Windows操作系统中，一个文本文件的前几个字节是用来指定该文件的编码方式的 如果你使用NotePad或WordPad来打开一个文本文件，你并不用担心该文...

unity中四种读取txt文件的方法和一种写入txt方法

//注意：要读取的文件的编码类型要为utf-8,不然会出现中文乱码或者直接不显示，如果是其它编码方式可以把文件 //另保存为utf-8的格式 using UnityEngine; using System.Collections; using System.IO;//用法三的时候...

Java读取UTF-8格式txt文件第一行出现乱码——问号“?”的解决方案

test.txt文件采用写字板保存为UTF-8格式 保存并关闭后使用写字板再次打开该UTF-8文档，中文、字母正常显示   测试代码：   [java] view plaincopy import java.io.BufferedReader...

Java 如何控制txt的编码格式

通常，假如自己不修改的话，windows自身采用的编码格式是gbk(而gbk和gb2312基本上是一样的编码方式),而IDE中Encode不修改的话，默认是utf-8的编码，这就是为什么会出现乱码的原因。当在OS下手工创建并写入的txt文件...

java按照指定编码方式读取文件

java按照指定编码方式读取文件jsp返回ajax请求，用out.print返回一个txt文件，于是开始用//FileReader reader = new FileReader("D:\\IdeaProjects\\Blogger\\web\\lyric\\d.txt"); //BufferedReader bufferedReader...

文件压缩与解压缩（哈夫曼编码压缩方式）

本文采用哈夫曼编码的方式进行文件（文本文件）压缩和解压缩，首先介绍项目的整体思路：哈夫曼编码压缩文件实际就是统计出文件中各个字符出现的频率，然后为每个字符生成对应的编码，然后将每个字符用哈夫曼编码的...

如何将文件编码转为UTF-8 无BOM格式

将文件转码之后操作,因为有时候,文件的编码格式并不是我们想要的格式,需要转为我们需要的格式,才能操作 如此处: 需要将json文件转码为utf-8 无Bom格式,方能转为数组 2.介绍 UTF-8 见:...

相关热词 c# mssql操作 c#免费的人脸识别sdk c# image c#書籍推薦 c#打印pdf中的图片 c# 抽象函数的作用 mono打包c# c#网关技术选型 c#比java简单 c#线程和锁