汉字和分隔符在一起,如何解析

angel518 2013-09-28 02:57:50
在报文打包解析中,通常用“|”作为字段分隔符,对于英文和数字,如 123seer|die23|dgg|这样的可以正确分成三个字段,但有些汉字如 弢,其十六进制为8F7C,包含了分隔符7C,就会造成解包出错;如换其他符号又会和其他的汉字发生问题,请问怎么解决这个问题呢,或者如何判断要解析的某个字符是否是汉字
...全文
421 14 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
14 条回复
切换为时间正序
请发表友善的回复…
发表回复
赵4老师 2013-10-08
  • 打赏
  • 举报
回复
//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
//此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
//此函数用于关闭转换句柄,释放资源。

//例子1: 用C语言实现的转换示例程序

/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

/*unicode码转为gb2312码*/
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码

rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
/*代码转换:从一种编码转为另一种编码*/
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
/*GB2312码转为UNICODE码*/
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}

//例子2: 用C++语言实现的转换示例程序

/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>

#define OUTLEN 255

using namespace std;

// 代码转换操作类

class CodeConverter {

private:
iconv_t cd;
public:

// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}


// 析构
~CodeConverter() {
iconv_close(cd);
}


// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;

memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};

int main(int argc, char **argv)
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}



二、利用iconv命令进行编码转换

iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

用法: iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范:
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息:
-l, --list 列举所有已知的字符集

输出控制:
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号

例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

小结: Linux为我们提供了强大的编码转换工具,给我们带来了方便。


angel518 2013-10-08
  • 打赏
  • 举报
回复
引用 12 楼 lpcads 的回复:
如果含有128及以上的字符,先转为unicode,再解析,这是我的想法。。。
有没有linux下用c转换GB18030到unicode 进行处理 ,最后又把unicode转为GB18030的实例呢
lpcads 2013-10-01
  • 打赏
  • 举报
回复
如果含有128及以上的字符,先转为unicode,再解析,这是我的想法。。。
赵4老师 2013-09-30
  • 打赏
  • 举报
回复
对电脑而言没有乱码,只有二进制字节;对人脑才有乱码。啊 GBK:0xB0 0xA1,Unicode-16 LE:0x4A 0x55,Unicode-16 BE:0x55 0x4A,UTF-8:0xE5 0x95 0x8A
赵4老师 2013-09-29
  • 打赏
  • 举报
回复
不知道有多少前人掉在TCP Socket send(人多)send(病少)send(财富) recv(人多病)recv(少财富) 陷阱里面啊! http://topic.csdn.net/u/20120210/09/51109ed0-07b9-41f2-b487-a51597f2ca01.html
davidyu720 2013-09-29
  • 打赏
  • 举报
回复
字符集编码的自动识别jchardet:能查到不少Java的开源代码。 C的很少,你看看这个 http://lxr.mozilla.org/mozilla/source/intl/chardet/
angel518 2013-09-29
  • 打赏
  • 举报
回复
引用 5 楼 davidyu720 的回复:
[quote=引用 4 楼 angel518 的回复:] [quote=引用 2 楼 baichi4141 的回复:] 如果是ASCII编码,从前向后,每一个大于0x80的字节和后面的字节共同构成一个非英文字符 如果是UNICODE编码,每两个字节构成一个字符 如果是UTF-8等不定长编码,去查每种语言对应的数值范围
是linux环境,在.bash_profile里有一行LANG=zh_CN.GB18030,这是否表明是用的字符集就是GB18030 这种情况下怎么解析[/quote] LANG表明你的shell工作环境的字符集,比如输出显示的字符集。 但是这个字符集与你需要处理的文本文件的字符集不见得一样。程序可以设置一个参数,表明文件的字符集。如果你的文件来源确定,那么字符集也可以确定,那参数就用不上了。 还有一种比较高级的做法,是自动读取文件的一部分内容,推测其字符集。[/quote] 有代码吗,学习下
davidyu720 2013-09-29
  • 打赏
  • 举报
回复
引用 4 楼 angel518 的回复:
[quote=引用 2 楼 baichi4141 的回复:] 如果是ASCII编码,从前向后,每一个大于0x80的字节和后面的字节共同构成一个非英文字符 如果是UNICODE编码,每两个字节构成一个字符 如果是UTF-8等不定长编码,去查每种语言对应的数值范围
是linux环境,在.bash_profile里有一行LANG=zh_CN.GB18030,这是否表明是用的字符集就是GB18030 这种情况下怎么解析[/quote] LANG表明你的shell工作环境的字符集,比如输出显示的字符集。 但是这个字符集与你需要处理的文本文件的字符集不见得一样。程序可以设置一个参数,表明文件的字符集。如果你的文件来源确定,那么字符集也可以确定,那参数就用不上了。 还有一种比较高级的做法,是自动读取文件的一部分内容,推测其字符集。
angel518 2013-09-29
  • 打赏
  • 举报
回复
引用 2 楼 baichi4141 的回复:
如果是ASCII编码,从前向后,每一个大于0x80的字节和后面的字节共同构成一个非英文字符 如果是UNICODE编码,每两个字节构成一个字符 如果是UTF-8等不定长编码,去查每种语言对应的数值范围
是linux环境,在.bash_profile里有一行LANG=zh_CN.GB18030,这是否表明是用的字符集就是GB18030 这种情况下怎么解析
lm_whales 2013-09-29
  • 打赏
  • 举报
回复
汉字乱码,一半是和 编号为128以后的图形字符混淆了,127以内的一般不会。
lm_whales 2013-09-29
  • 打赏
  • 举报
回复
可以学一下C的转义字符的处理方式 1)printf 格式串 % 代表格式, %% 代表% 本身。 %%--->% 2)字符串反斜杠,\转义序列,\\反斜杠本身。 \\---->\ UNICODE 可以这么处理: 007C ===>| 007C7CXX===> 7CXX 7CXX 表示7C开头的任意汉字。 其实 UNICODE 本身是16 BITS ,可以直接识别。 只怕MBCS才是需要另外识别的。 不过MBCS 汉字每个字节高位为1,不会和7C混淆的。 不知哪里会有问题。
AnYidan 2013-09-28
  • 打赏
  • 举报
回复
所以处理多字节编码时一定要小心
baichi4141 2013-09-28
  • 打赏
  • 举报
回复
如果是ASCII编码,从前向后,每一个大于0x80的字节和后面的字节共同构成一个非英文字符 如果是UNICODE编码,每两个字节构成一个字符 如果是UTF-8等不定长编码,去查每种语言对应的数值范围
hc_z 2013-09-28
  • 打赏
  • 举报
回复
解析前就应该知道文本的编码格式。

70,023

社区成员

发帖
与我相关
我的任务
社区描述
C语言相关问题讨论
社区管理员
  • C语言
  • 花神庙码农
  • 架构师李肯
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧