关于汉字的识别

[chenhui19820211]

我想对一段文章进行分词，文章很长，所以想以句号作为标记，对每一句进行分词。但是有一个问题，我查找的是汉字的句号，因此是两字节，有时候会将前一个汉字的低字节和后一个汉字的高字节识别为句号。应该怎么处理 多谢了！！

[cabbageA]

有两个方法
1用unicode，非常简单的方法。
2在多字节的字符串的每一个char进行判断，判断是否是一个多字节字的一部分，如果是就跳过下一个字节，这样就不会英文跳跃两个了。
建议用1。
2的字符判断的区间可以到网上去查阅哦。

[chenhui19820211]

麻烦楼上的朋友将unicode说的详细一点好吗，之前没有用过 多谢了

[lsmdiao0812]

[Quote=引用 5 楼 cabbageA 的回复:]
有两个方法
1用unicode，非常简单的方法。
2在多字节的字符串的每一个char进行判断，判断是否是一个多字节字的一部分，如果是就跳过下一个字节，这样就不会英文跳跃两个了。
建议用1。
2的字符判断的区间可以到网上去查阅哦。
[/Quote]

你说的第一种方法没用过，不过第二种方法用过，而且可行，方法是：
先要知道你的文章编码，因为不同的编码汉字的前后两字节是不同的，然后一个字节一个字节遍历你的文章，看这个自己是英文字母还是汉字的前后两个字符

[cabbageA]

就是把你的程序作成UNICODE程序，所有文字都是统一编码，所以不存在有些文字占用多个字节，有的只占用一个。

[oakfire]

你不是以两字节为单位从头查的么？

[chenhui19820211]

因为文章里面可能含有英文所以不能以两字节为单位查

[门后面的猫]

学习一下

[taifeng123]

我觉得用stl可以解决你的问题，将一个个汉字和各种标点符号独立保存，再用find()查询句号，