关于Linux下宽字节编码问题

翅膀又硬了 2017-10-17 11:41:51
代码如下

#include <iostream>
#include <string.h>
using namespace std;

int main()
{
// std::locale loc("zh-CN");
// setlocale(LC_ALL, "en_AG");
// setlocale(LC_ALL, "zh-CN");
setlocale(LC_CTYPE, "zh_CN.utf8");

char aa[8] ={0x44,0x00,0x52,0x00,0x00,0x00};
wchar_t bb[3];
memcpy(bb,aa,6);
wstring ws = bb;

return 0;
}
数组aa里的内容是已知的,想解析出wstring的“DR”,windows正常,我 ubuntu,Qtcreater gcc Linux下怎么弄?
...全文
493 17 打赏 收藏 转发到动态 举报
写回复
用AI写文章
17 条回复
切换为时间正序
请发表友善的回复…
发表回复
翅膀又硬了 2017-10-23
  • 打赏
  • 举报
回复
引用 14 楼 ananluowei 的回复:
windows下wchar_t的定义是unsigned short 如果linux下wchar_t的定义不同,那么用short变量中转一下,逐个赋值 随手写了下面的示例
char aa[8] ={0x44,0x00,0x52,0x00,0x00,0x00};
unsigned short* bb = aa;
wchar_t[8/2] cc;
for (auto i = 0; i < 4;++i)
    cc[i] = bb[i];
赵4老师 2017-10-21
  • 打赏
  • 举报
回复
引用 16 楼 xsklld 的回复:
[quote=引用 15 楼 zhao4zhong1 的回复:] [quote=引用 10 楼 xsklld 的回复:] 你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
Linux下有mbstowcs函数吗?[/quote] 标准规定的函数,跟操作系统有什么关系?[/quote] 百度搜相关关键字。
xskxzr 2017-10-21
  • 打赏
  • 举报
回复
引用 15 楼 zhao4zhong1 的回复:
[quote=引用 10 楼 xsklld 的回复:] 你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
Linux下有mbstowcs函数吗?[/quote] 标准规定的函数,跟操作系统有什么关系?
赵4老师 2017-10-21
  • 打赏
  • 举报
回复
引用 10 楼 xsklld 的回复:
你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
Linux下有mbstowcs函数吗?
大尾巴猫 2017-10-20
  • 打赏
  • 举报
回复
windows下wchar_t的定义是unsigned short 如果linux下wchar_t的定义不同,那么用short变量中转一下,逐个赋值 随手写了下面的示例
char aa[8] ={0x44,0x00,0x52,0x00,0x00,0x00};
unsigned short* bb = aa;
wchar_t[8/2] cc;
for (auto i = 0; i < 4;++i)
    cc[i] = bb[i];
翅膀又硬了 2017-10-20
  • 打赏
  • 举报
回复
引用 12 楼 xsklld 的回复:
[quote=引用 11 楼 zjq9931 的回复:] [quote=引用 10 楼 xsklld 的回复:] 你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
其实楼主的是宽字元的字符,放到了多字节字符数组里面。 如果是多字节字符串,确实是用这个的。[/quote] 天知道楼主是什么意思。如果是用两个字符表示Unicode编码,显然不够,我理解的就是UTF-16LE编码。[/quote] 详细描述一下吧。我们现在的产品服务器跟客户端是在windows平台下的,他们之间通信使用TCP socket,协议内容是 wstring的JSON串(别问为什么要这样用)。比如wstring的字符串“DR”,通过socket传输时,16进制内容是0x44,0x00,0x52,0x00。现在收到之后要解析出"DR"来。
xskxzr 2017-10-18
  • 打赏
  • 举报
回复
你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
  • 打赏
  • 举报
回复
引用 10 楼 xsklld 的回复:
你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
其实楼主的是宽字元的字符,放到了多字节字符数组里面。 如果是多字节字符串,确实是用这个的。
xskxzr 2017-10-18
  • 打赏
  • 举报
回复
引用 11 楼 zjq9931 的回复:
[quote=引用 10 楼 xsklld 的回复:] 你这个需求就是mbstowcs函数啊,楼上都没人知道吗…… 不要啥都去memcpy,容易触发未定义行为
其实楼主的是宽字元的字符,放到了多字节字符数组里面。 如果是多字节字符串,确实是用这个的。[/quote] 天知道楼主是什么意思。如果是用两个字符表示Unicode编码,显然不够,我理解的就是UTF-16LE编码。
  • 打赏
  • 举报
回复
引用 3 楼 yunchao630 的回复:
[quote=引用 1 楼 zjq9931 的回复:] 这样应当就可以了。

#include <iostream>
#include <string.h>
using namespace std;
 
int main()
{
  //  std::locale loc("zh-CN");
  //  setlocale(LC_ALL, "en_AG");
   // setlocale(LC_ALL, "zh-CN");
    setlocale(LC_CTYPE, "zh_CN.utf8");
 
    char aa[8] ={0x44,0x52,0x00};
    wchar_t bb[3];
    for(int i=0; i<3; i++) {
        bb[i]=aa[i];
    }
    wstring ws = bb;
 
    return 0;
}

有没有通用的解决办法呀?通过设置编码什么的。实际使用过程不都是字母,还有可能有其它字符,不能简单的忽略0x00.[/quote] 楼上赵老师的方法。
  • 打赏
  • 举报
回复
char aa[12] ={0x44,0x00,0x00,0x00,0x52,0x00,0x00,0x00,0x00,0x00,0x00,0x00}; wchar_t bb[3]; memcpy(bb,aa,12);
  • 打赏
  • 举报
回复
这样应当就可以了。

#include <iostream>
#include <string.h>
using namespace std;
 
int main()
{
  //  std::locale loc("zh-CN");
  //  setlocale(LC_ALL, "en_AG");
   // setlocale(LC_ALL, "zh-CN");
    setlocale(LC_CTYPE, "zh_CN.utf8");
 
    char aa[8] ={0x44,0x52,0x00};
    wchar_t bb[3];
    for(int i=0; i<3; i++) {
        bb[i]=aa[i];
    }
    wstring ws = bb;
 
    return 0;
}

翅膀又硬了 2017-10-17
  • 打赏
  • 举报
回复
引用 1 楼 zjq9931 的回复:
这样应当就可以了。

#include <iostream>
#include <string.h>
using namespace std;
 
int main()
{
  //  std::locale loc("zh-CN");
  //  setlocale(LC_ALL, "en_AG");
   // setlocale(LC_ALL, "zh-CN");
    setlocale(LC_CTYPE, "zh_CN.utf8");
 
    char aa[8] ={0x44,0x52,0x00};
    wchar_t bb[3];
    for(int i=0; i<3; i++) {
        bb[i]=aa[i];
    }
    wstring ws = bb;
 
    return 0;
}

有没有通用的解决办法呀?通过设置编码什么的。实际使用过程不都是字母,还有可能有其它字符,不能简单的忽略0x00.
赵4老师 2017-10-17
  • 打赏
  • 举报
回复
//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
//此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
//此函数用于关闭转换句柄,释放资源。

//例子1: 用C语言实现的转换示例程序

/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

/*unicode码转为gb2312码*/
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码

rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
/*代码转换:从一种编码转为另一种编码*/
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
/*GB2312码转为UNICODE码*/
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}

//例子2: 用C++语言实现的转换示例程序

/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>

#define OUTLEN 255

using namespace std;

// 代码转换操作类

class CodeConverter {

private:
iconv_t cd;
public:

// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}


// 析构
~CodeConverter() {
iconv_close(cd);
}


// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;

memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};

int main(int argc, char **argv)
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}



二、利用iconv命令进行编码转换

iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

用法: iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范:
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息:
-l, --list 列举所有已知的字符集

输出控制:
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号

例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

小结: Linux为我们提供了强大的编码转换工具,给我们带来了方便。


  • 打赏
  • 举报
回复
引用 7 楼 qq_20553613 的回复:
赵4老师:linux下直接用C语言编写编码转换函数,也就是你上面的函数,可以正确实现;但将此函数放在Qt下面编译,运行提示“iconv_open: Invalid argument”,第一步就打开失败了。
QT做了封装,QString可以接收多字节,也可以接收宽字节的数据。直接用就好了,指定好多字节的字符集就可以了。
赵4老师 2017-10-17
  • 打赏
  • 举报
回复
百度搜“Qt 宽字符处理”?
Acuity. 2017-10-17
  • 打赏
  • 举报
回复
引用 2 楼 zhao4zhong1 的回复:
//iconv_linux下字符集编码转换轻松实现
(1) iconv_t iconv_open(const char *tocode, const char *fromcode);
//此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
(2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
//此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。
(3) int iconv_close(iconv_t cd);
//此函数用于关闭转换句柄,释放资源。

//例子1: 用C语言实现的转换示例程序

/* f.c : 代码转换示例C程序 */
#include <iconv.h>
#define OUTLEN 255
main()
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

/*unicode码转为gb2312码*/
rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
printf("unicode-->gb2312 out=%sn",out);
//gb2312码转为unicode码

rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
printf("gb2312-->unicode out=%sn",out);
}
/*代码转换:从一种编码转为另一种编码*/
int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
{
iconv_t cd;
int rc;
char **pin = &inbuf;
char **pout = &outbuf;

cd = iconv_open(to_charset,from_charset);
if (cd==0) return -1;
memset(outbuf,0,outlen);
if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
iconv_close(cd);
return 0;
}
/*UNICODE码转为GB2312码*/
int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
{
return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
}
/*GB2312码转为UNICODE码*/
int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
{
return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
}

//例子2: 用C++语言实现的转换示例程序

/* f.cpp : 代码转换示例C++程序 */
#include <iconv.h>
#include <iostream>

#define OUTLEN 255

using namespace std;

// 代码转换操作类

class CodeConverter {

private:
iconv_t cd;
public:

// 构造
CodeConverter(const char *from_charset,const char *to_charset) {
cd = iconv_open(to_charset,from_charset);
}


// 析构
~CodeConverter() {
iconv_close(cd);
}


// 转换输出
int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
char **pin = &inbuf;
char **pout = &outbuf;

memset(outbuf,0,outlen);
return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
}
};

int main(int argc, char **argv)
{
char *in_utf8 = "姝e?ㄥ??瑁?";
char *in_gb2312 = "正在安装";
char out[OUTLEN];

// utf-8-->gb2312
CodeConverter cc = CodeConverter("utf-8","gb2312");
cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

// gb2312-->utf-8
CodeConverter cc2 = CodeConverter("gb2312","utf-8");
cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
}



二、利用iconv命令进行编码转换

iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

用法: iconv [选项...] [文件...]

有如下选项可用:

输入/输出格式规范:
-f, --from-code=名称 原始文本编码
-t, --to-code=名称 输出编码

信息:
-l, --list 列举所有已知的字符集

输出控制:
-c 从输出中忽略无效的字符
-o, --output=FILE 输出文件
-s, --silent 关闭警告
--verbose 打印进度信息

-?, --help 给出该系统求助列表
--usage 给出简要的用法信息
-V, --version 打印程序版本号

例子:
iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

小结: Linux为我们提供了强大的编码转换工具,给我们带来了方便。


赵4老师:linux下直接用C语言编写编码转换函数,也就是你上面的函数,可以正确实现;但将此函数放在Qt下面编译,运行提示“iconv_open: Invalid argument”,第一步就打开失败了。
  • 打赏
  • 举报
回复
linux下wchar_t有可能会是32位的,所以最好不要这样直接用

64,282

社区成员

发帖
与我相关
我的任务
社区描述
C++ 语言相关问题讨论,技术干货分享,前沿动态等
c++ 技术论坛(原bbs)
社区管理员
  • C++ 语言社区
  • encoderlee
  • paschen
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
  1. 请不要发布与C++技术无关的贴子
  2. 请不要发布与技术无关的招聘、广告的帖子
  3. 请尽可能的描述清楚你的问题,如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧