如何判断一个文本文件是无BOM 的UTF8 编码 还是 ANSI编码？

[gOrubby]

大家都知道有BOM UTF-8编码很好判断， 0xEF 0XBB 0XBF。
但是如果一个文本是无BOM？ 那么他是无BOM UTF-8还是ANSI的呢？

网上说可以通过UTF-8编码规则进行字符比对， 但是我要操作的文本很大有的上百M,能不能有个快速有效的方法呢？

参考链接：http://henry8088.javaeye.com/blog/780743

[gOrubby]

[Quote=引用 6 楼 tandyt 的回复:]
你下载个 notpad++ ，这个也是文本编辑器，你用notpad++ 打开你那个 txt文本，然后在菜单“格式”那里，就能看到是什么编码格式的了，当前文本的编码格式前面有个亮的圆点的，那个就表示当前文本编码格式。

这个很准，我以前弄过文本内存读写什么的，不清楚什么编码时，都是用这个编辑器 来看的。
[/Quote]

嗯 谢谢你的回答。
不过我想知道如何在c++/VC程序里判定。。。

[tufaqing]

这个没有肯定的答案，有时还是会判断失败的，UTF8兼容单字节的ANSI编码的。判断一个字符串是否是UTF8编码的函数参考如下，要了解一下UTF8编码算法：

bool isutf8(CHAR *str)
{
	int i = 0;
	int size = strlen(str);

	while(i < size)
	{
		int step = 0;
		if((str[i] & 0x80) == 0x00)
		{
			step = 1;
		}
		else if((str[i] & 0xe0) == 0xc0)
		{
			if(i + 1 >= size) return false;
			if((str[i + 1] & 0xc0) != 0x80) return false;

			step = 2;
		}
		else if((str[i] & 0xf0) == 0xe0)
		{
			if(i + 2 >= size) return false;
			if((str[i + 1] & 0xc0) != 0x80) return false;
			if((str[i + 2] & 0xc0) != 0x80) return false;

			step = 3;
		}
		else
		{
			return false;
		}

		i += step;
	}

	if(i == size) return true;

	return false;
}

[gOrubby]

NNDCSDN 就不能不在我屁股后面广告啊？

[zzz_zou]

主要是对汉字的编码方式不同吧， 找到1个汉字 看看如何编码就可以了 不需要全部找的

[用户 昵称]

这个没有万试万灵的函数，微软的记事本默认的是utf8，将一个文本文件存储成无bom的utf8格式，基本上能正确识别，

有一个 IsTextUnicode，俺没用过

俺自己判断的时候，将数据视为utf8格式，然后转成ansi格式，比较?的数量，如果数量一致，那是ansi，如果?变多，那么是utf8。

[用户 昵称]

不过这也不是很灵.

[Eleven]

http://tech.ddvip.com/2009-03/1238498852112971.html
看下这个，希望对你有帮助

[TandyT]

你下载个 notpad++ ，这个也是文本编辑器，你用notpad++ 打开你那个 txt文本，然后在菜单“格式”那里，就能看到是什么编码格式的了，当前文本的编码格式前面有个亮的圆点的，那个就表示当前文本编码格式。

这个很准，我以前弄过文本内存读写什么的，不清楚什么编码时，都是用这个编辑器 来看的。

[TandyT]

而且这个编辑器很强大，我前段时间用来打开几百兆的文本文件，只是刚打开的过程中会顿一下，后面打开后，不管拖动滚动条还是怎么的，都很流畅。

我现在基本不用 系统自带的记事本了，就用 notpad++ 。

[用户昵称不能为空]

记得ECSHOP还是PHPCMS有一个判断文件否是有无BOM头的函数。

[smwhotjay]

txt 蛋疼.

[walkingp]

顶上去，同问。