std::string存储的utf-8格式xml指令如何转换成普通的string

2009-08-12 08:35:37 640 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C++读写UTF-8文本文件：从编码原理到跨平台实战字符编码是计算机处理文本信息的基础，它定义了字符与二进制数据之间的映射关系。从早期的ASCII到本地化编码（如GBK），再到如今广泛采用的Unicode标准，编码的演进旨在解决多语言文本的表示问题。UTF-8作为Unicode的一种变长编码实现，因其兼容ASCII、节省空间和跨平台友好的特性，已成为现代软件开发中处理文本的“银弹”标准。在C++工程实践中，正确处理UTF-8编码对于实现无乱码的文件读写、确保程序跨平台兼容性具有关键价值。本文聚焦于C++开发中常见的“锟斤拷”乱码问题，深入剖析其根源在于源代码阅读详情

utf-8格式的xml指令，存储在标准的std::string中，怎么把这个string转化成普通的多字节的string

utf-8编码中汉字是3个字节或以上的，普通的多字节不是这样表示的....

...全文

Dev-C++中文乱码终极解决方案：全链路UTF-8配置指南字符编码是计算机处理文本信息的基础，它定义了字符与二进制数据之间的映射规则。在Windows平台的C/C++开发中，由于历史原因，系统默认的GBK编码与现代通用的UTF-8编码并存，导致编码错位问题频发。其核心原理在于源代码文件编码、编译器解释编码和终端显示编码三个环节的不匹配。解决编码问题的技术价值在于确保程序内外部数据表示的一致性，避免乱码，提升代码的可移植性和可维护性。在应用场景上，尤其在使用Dev-C++等传统IDE进行中文字符串输出、文件读写时，编码配置至关重要。本文聚焦于通过配置编辑器、编译器参阅读详情

sinmeng

VC/MFC 16,550 成员 421,606 内容

+ 关注 + 加入社区

切换为时间正序

帅得不敢出门 2009-08-22

打赏
举报

[Quote=引用 4 楼 sinmeng 的回复:]
呃MultiBytesToWideChar还能把UTF-8转化成unicode么，我还真的不知道...
我只知道这个东西是用来转换多字节到宽字符的...
[/Quote]
参数 CodePage 有以下几种
CP_ACP ANSI code page
CP_MACCP Macintosh code page
CP_OEMCP OEM code page
CP_SYMBOL Windows 2000/XP: Symbol code page (42)
CP_THREAD_ACP Windows 2000/XP: The current thread's ANSI code page
CP_UTF7 Windows 98/Me, Windows NT 4.0 and later: Translate using UTF-7
CP_UTF8 Windows 98/Me, Windows NT 4.0 and later: Translate using UTF-8.
平常你使用的是CP_ACP

healer_kx 2009-08-13

打赏
举报

healer_kx 2009-08-12

打赏
举报



healer_kxinline std::string KS_UTF8_to_ANSI (const char* szUTF8)

{

    if (szUTF8 == NULL)

        return "" ;

	

    int     nLen = ::MultiByteToWideChar (CP_UTF8, 0, szUTF8, -1, NULL, 0) ;

    WCHAR   * pWstr = new WCHAR[nLen+1] ;

    ZeroMemory (pWstr, sizeof(WCHAR) * (nLen+1)) ;

    ::MultiByteToWideChar (CP_UTF8, 0, szUTF8, -1, pWstr, nLen) ;

    std::string     strAnsi (_bstr_t((wchar_t*)pWstr)) ;

    delete[] pWstr ;

    return strAnsi ;

}



inline char* KS_ANSI_to_UTF8 (const char* szAnsi)

{

    if (szAnsi == NULL)

        return NULL ;

	

    _bstr_t   bstrTmp (szAnsi) ;

    int       nLen = ::WideCharToMultiByte (CP_UTF8, 0, (LPCWSTR)bstrTmp, -1, NULL, 0, NULL, NULL) ;

    char      * pUTF8 = new char[nLen+1] ;

    ZeroMemory (pUTF8, nLen + 1) ;

    ::WideCharToMultiByte (CP_UTF8, 0, (LPCWSTR)bstrTmp, -1, pUTF8, nLen, NULL, NULL) ;

    return pUTF8 ;

}

oyljerry 2009-08-12

打赏
举报

[Quote=引用 4 楼 sinmeng 的回复:]
呃MultiBytesToWideChar还能把UTF-8转化成unicode么，我还真的不知道...
我只知道这个东西是用来转换多字节到宽字符的...
[/Quote]
附录：CPP程序utf82unicode.cpp
#include <stdio.h>
#include <string.h>

// UTF-8的unicode表示方法到unicode的值转换函数
bool utf82unicode(unsigned int byte[], int index, int count, int& unicode)
{
/* for (int i=index; i < count; ++i) {
printf("byte[%d]:%0Xn",i, byte[i]);
}
printf("byte[index] & 0x80: %0Xn", byte[index] & 0x80);
printf("byte[index] & 0xE0: %0Xn", byte[index] & 0xE0);
printf("byte[index] & 0xF0: %0Xn", byte[index] & 0xF0);
*/
if (index >= count) return false;
if ( (byte[index] & 0x80) == 0x0) // 一位
{
unicode = byte[index];
}
else if ((byte[index] & 0xE0) == 0xC0) // 两位
{
if (index + 1 >= count ) return false;
unicode = (((int)(byte[index] & 0x1F)) << 6)
| (byte[ index + 1] & 0x3F);
}
else if ((byte[index] & 0xF0) == 0xE0) // 三位
{
if (index + 2 >= count) return false;
unicode = (((int)(byte[index] & 0x0F)) << 12)
| (((int)(byte[index + 1] & 0x3F)) << 6)
| (byte[index + 2] & 0x3F);
}
else if ((byte[index] & 0xF8) == 0xF0) // 四位
{
if (index + 3 >= count) return false;
unicode = (((int)(byte[index] & 0x07)) << 18)
| (((int)(byte[index + 1] & 0x3F)) << 12)
| (((int)(byte[index + 2] & 0x3F)) << 6)
| (byte[index + 3] & 0x3F);
}
else if ((byte[index] & 0xFC) == 0xF8) // 五位
{
if (index + 4 >= count) return false;
unicode = (((int)(byte[index] & 0x03)) << 24)
| (((int)(byte[index + 1] & 0x3F)) << 18)
| (((int)(byte[index + 2] & 0x3F)) << 12)
| (((int)(byte[index + 3] & 0x3F)) << 6)
| (byte[index + 4] & 0x3F);
}
else if ((byte[index] & 0xFE) == 0xFC) // 六位
{
if (index + 5 >= count) return false;
unicode = (((int)(byte[index] & 0x01)) << 30)
| (((int)(byte[index + 1] & 0x3F)) << 24)
| (((int)(byte[index + 2] & 0x3F)) << 18)
| (((int)(byte[index + 3] & 0x3F)) << 12)
| (((int)(byte[index + 4] & 0x3F)) << 6)
| (byte[index + 5] & 0x3F);
}
else
{
return false;
}
return true;

}

然后unicode到多字节

healer_kx 2009-08-12

打赏
举报

我给你一段代码吧，

sinmeng 2009-08-12

打赏
举报

呃MultiBytesToWideChar还能把UTF-8转化成unicode么，我还真的不知道...
我只知道这个东西是用来转换多字节到宽字符的...

healer_kx 2009-08-12

打赏
举报

WideCharToMultiBytes
MultiBytesToWideChar
要学会用~

bohut 2009-08-12

打赏
举报

Unicode和UTF-8之间的转换详解
http://www.cnblogs.com/xdotnet/archive/2007/11/23/unicode_and_utf8.html

zqlong_sunday 2009-08-12

打赏
举报

用MultiByteToWideChar,将UTF-8转换成unicode
然后再利用WideCharToMultiByte转换成ASCII

std::string存储的utf-8格式xml指令如何转换成普通的string

相关推荐