如何判断一个txt文件采用的编码方式?

[iamluda]

用windows的记事本编写的txt文件,保存后有4中编码格式
1. ANSI 2. unicode 3. unicode big endian 4. UTF-8

如何才能判断一个txt文件采用的编码方式?

对我的应用来说,我的程序仅仅能识别 ANSI编码方式,我该如何转换其他编码方式的文件到ANSI?

[ouyh12345]

google 记事本 编码格式

有个例子可以参考一下：
如何判断文本文件的编码格式？

主要代码：
case 0xefbb:
code="UTF-8";
break;
case 0xfffe:
code="Unicode";
break;
case 0xfeff:
code="Unicode big endian";
break;
default:
code="ANSI";

[cnzdgs]

LS写反了吧？应该是0xbbef、0xfeff、oxfffe。
用MultiByteToWideChar先转成Unicode，再用WideCharToMultiByte转成多字节。

[goodwinds]

记事本保存文件时，在开头加入几个字节，来判断字符集或编码
开头字节 Charset/encoding
FF FE unicode
FE FF unicode big endian
EF BB 8F UTF8
你可以保存不同的编码方式，用UltraEdit打开查看二进制。

你的程序读出文件，判断前面几个字节就可以了

用WideCharToMultiByte进行不同字符编码的转换。

[ouyh12345]

[Quote=引用 2 楼 cnzdgs 的回复:]
LS写反了吧？应该是0xbbef、0xfeff、oxfffe。
用MultiByteToWideChar先转成Unicode，再用WideCharToMultiByte转成多字节。
[/Quote]

源码里还有一些处理

[greatws]

对，cnzdgs说的没错，有高低位互换的问题。

不过还有无BOM的文本文件，就要根据字符来判断了
参考http://topic.csdn.net/u/20080518/13/4192c3b5-52e4-442d-962a-1f17293ba50e.html

[greatws]

UTF8 to unicode
http://topic.csdn.net/u/20080514/18/c6ad1ab7-24e8-40a3-a9f9-0a9f712e3df1.html

ansi to utf8
http://topic.csdn.net/u/20080508/17/e2ce8c52-b27a-4b56-b7bb-439373f0c214.html

参考下就差不多了

[用户 昵称]

先读前几个字节，判断编码，然后再读后面的，API转换。

//UNICODE little endian
char *
u2s( unsigned char *buf, unsigned short length, char *tmpbuf )
{
	int i;
	char *p;
	char s[ 10 ] = "";
	wchar_t wstr[ 1 ];
	CString mstr;
	int l, curlen;

	*tmpbuf = 0;
	curlen = 0;
	mstr = _T( "" );

	for( i = 0; i < ( int )length; i += 2 )
	{
		p = ( char * )wstr;
		*p = *( buf + 1 );			//high
		*( p + 1 ) = *buf;			//low
		mstr = wstr;
		memset( s, 0, sizeof( s ) );
		strcat( s, ( const char * )mstr );
		if( *buf )		//if low is not 0
		{
			s[ 2 ] = 0;
			l = 2;
		}
		else
		{
			s[ 1 ] = 0;
			l = 1;
		}
			
		strcat( tmpbuf + curlen, ( const char * )s );
		curlen += l;

		buf += 2;
	}

	return tmpbuf;
}

//unicode big endian
char *
unicode2s( unsigned char *buf, unsigned short length, char *tmpbuf )
{
	int i;
	char *p;
	char s[ 10 ] = "";
	wchar_t wstr[ 1 ];
	CString mstr;
	int l, curlen;

	*tmpbuf = 0;
	curlen = 0;
	mstr = _T( "" );

	for( i = 0; i < ( int )length; i += 2 )
	{
		p = ( char * )wstr;
		*p = *( buf );			//high
		*( p + 1 ) = *( buf + 1 );			//low
		mstr = wstr;
		memset( s, 0, sizeof( s ) );
		strcat( s, ( const char * )mstr );
		if( *( buf + 1 ) )		//if low is not 0
		{
			s[ 2 ] = 0;
			l = 2;
		}
		else
		{
			s[ 1 ] = 0;
			l = 1;
		}
			
		strcat( tmpbuf + curlen, ( const char * )s );
		curlen += l;

		buf += 2;
	}

	return tmpbuf;
}

//utf8 convert to gb
char *
utf82ascii( unsigned char *utf8, unsigned short length, char *buf )
{
	int i = 0;
	unsigned short a;
	unsigned char b;
	char *p = buf;
	unsigned char t[ 2 ];


	do
	{
		if( 0xe0 == ( *utf8 & 0xf0 ) &&
			0x80 == ( *( utf8 + 1 ) & 0xc0 ) &&
			0x80 == ( *( utf8 + 2 ) & 0xc0 ) )
		{
			//3个字节
			b = *utf8;
			b &= 0x0f;
			a = b;

			a <<= 6;
			b = *( utf8 + 1 );
			b &= 0x3f;
			a |= b;

			a <<= 6;
			b = *( utf8 + 2 );
			b &= 0x3f;
			a |= b;

			t[ 0 ] = ( a >> 8 ) & 0xff;
			t[ 1 ] = ( a & 0xff );
			u2s( t, 2, p );

			p += 2;

			i += 3;
			utf8 += 3;
		}
		else if ( 0xc0 == ( *utf8 & 0xe0 ) &&
				0x80 == ( *( utf8 + 1 ) & 0xc0 ) )
		{
			//2个字节
			b = *utf8;
			b &= 0x1f;
			a = b;

			a <<= 6;
			b = *( utf8 + 1 );
			b &= 0x3f;
			a |= b;

			t[ 0 ] = ( a >> 8 ) & 0xff;
			t[ 1 ] = ( a & 0xff );
			u2s( t, 2, p );

			p += 2;

			i += 2;
			utf8 += 2;
		}
		else
		{
			//1个字节
			*( p++ ) = *( utf8++ );
			
			i++;
		}
	} while ( i < length );
	*p = 0;
	
	return buf;
}

[iamluda]

UNICODE 编码的格式,表示一个字符要两个字节表示一个字符。汉字和英文的占用字节数相同。
utf8 编码的格式,表示一个字符需要的字节是不固定的.
由于文件比较大,因此要分段读取,然后进行转换,对于utf8 这样编码格式的文件,缓冲区该如何处理呢?

代码如下:
CStdioFile myFile;
unsigned char p_buf;////先读的字节

Cstring temp_str;//转换后的字符串

#define BUF_SIZE 2048
unsigned char buf[BUF_SIZE];//要转换的数据
unsigned char buf_out[BUF_SIZE];//转换后的数据

//先读上2个字节
myFile.Read(&p_buf,1);
int p = p_buf * 256;
myFile.Read(&p_buf,1);
p = p_buf + p;
//文件读指针回到首位
myFile.Seek(0, CFile::begin);

int n=1;//实际读取的字节数

switch(p)
{
case 0xefbb: //"UTF-8"
//对于UTF-8该如何处理??

break;
case 0xfffe: // unicode小端格式
while(n)
{
n=fread(buf, 1, BUF_SIZE, pFile);
u2s(buf,n,buf_out);
temp_str += buf;
memset(buf,0,BUF_SIZE);
memset(buf,0,BUF_SIZE);
}
break;
case 0xfeff: //"Unicode big endian"
//处理方法同上面
break;
default: //ANSI
break;
}


对于utf8 这样编码格式的文件,缓冲区该如何处理呢?