UTF-8代表什么，如何编码？
java中的char是16位的，只能表示6万多个字符，好像汉字就有几万个吧，String是以char为基础的,java内部怎么表示世界各国的语言字符？
好像有更多位的编码格式，但是怎么放在char里面，系统如何识别它？
-
等级
本版专家分：5831结帖率 100% -
Unicode到底是如何编码的？
UTF-8代表什么，如何编码？
java中的char是16位的，只能表示6万多个字符，好像汉字就有几万个吧，String是以char为基础的,java内部怎么表示世界各国的语言字符？
好像有更多位的编码格式，但是怎么放在char里面，系统如何识别它？
展开阅读全文
-
等级
本版专家分：3644 -
Java 内部处理字符使用的字序方式是 Unicode，这是一种通行全球的编码方式。Unicode 因为必须将中、韩、日、英、法、阿拉伯……等许多国家所使用的文字都纳入，目前已经包含了六万多个字符，所以 Unicode 使用了 16 个位来为字符编码。因为 Unicode 使用了 16 位编码，所以每个字符都用 16 位来储存或传输是很自然的事，这种储存或传输的格式称为 UTF-16（是不是很像战斗机的名字）。如果你使用到的字符都是西方字符，那么你一定不会想用 UTF-16 的格式，因为体积比 8 位的 Latin-1（一种扩充 ASCII 的编码）多了一倍。所以 Unicode 另有一种储存或传输的格式，叫做 UTF-8。UTF-8 的格式在编码英文时，只需要 8 位，但是中文则是 24 位，所以中文字出现比例高的地方还是使用 UTF-16 比较节省空间。Java 的 Class File（也就是 bytecode）中有一字段叫做常数区（Constant Pool），一律使用 UTF-8 为字符编码。
为了将成千上万的文字统一到同一个编码机制之下，在兼顾经济的原则下，不管是东方文字还是西方文字，在Unicode中一律用两个字节来表示。也就是说，Unicode是一种双字节编码机制的字符集，使用0-65535之间的双字节无符号整数对每个字符进行编码。这样，在Unicode字符集中，至少可以定义65536个不同的字符，足以应付目前绝大多数场合的需要。
UTF-8 是一种不等幅的编码方式，UTF-8编码的字节长度取决于所要编码的字符在ISO 10646中的编码值。在UTF-8中，不同的字符，可能需要1-6个字节来进行编码。对于单字节的UTF-8编码，该字节的最高位为0，其余7位用来对字符进行编码（等同于ASCII码）。对于多字节的UTF-8编码，如果编码包含n个字节，那么第一个字节的前n位为1，第一个字节的第n+1位为0，该字节的剩余各位用来对字符进行编码。在第一个字节之后的所有的字节，都是最高两位为"10"，其余6位用来对字符进行编码。
UTF-16也是Unicode的变形表示方式的一种。它的目的是维持双八位的编码方式，同时也用一些特殊的双八位来表示ISO 10646中非基本多文种平面（BMP）中的一些字符。这种用来表示非BMP字符的方法在Unicode中称作代理对机制。
代理对的编码机制以及原先不需要代理对的六万三千多个基本 Unicode 码，合起来叫做UTF-16。也就是说UTF-16 基本上就是 Unicode双字节编码的实现，再加上一个应付未来扩充需要的编码机制。
-
等级
本版专家分：2599
-
关注，学习
-
等级
本版专家分：142 -
songbo_pp(皮皮)
高！
-
等级
本版专家分：13055勋章
-
- 黄花 2003年7月 Java大版内专家分月排行榜第二
-
-
1.“java内部怎么表示世界各国的语言字符？”
这个问题，songbo_pp(皮皮) 已经回答的很好了。
2.“好像有更多位的编码格式，但是怎么放在char里面，系统如何识别它？”
我来回答第二个问题。
char里只存放编码。说直白点就是0x0000-0xFFFF之间的数字。
“系统如何识别它”有两个含义，一是java系统如何识别。二是本地系统如何识别。
java系统不会去识别。他只认识编码。对于特殊编码，java编译器会依据常规来处理，如0x000D表示回车。对于普通数字，java一律看成字符。
本地系统，如linux，win2k,etc，是依靠本地编码原则来识别unicode，所谓识别，就是win2k看到了0x0041后，会在屏幕上显示字母：A，这就叫识别了，如果看到0x4F60，就显示汉族“你”。之所以能显示是因为有对应的模块来做翻译。如果在日文系win2k统里，因为不含有汉字模块的unicode转换，就不会显示汉字了。
这些都叫系统识别。
- 求解：SpringCloud返回数据编码格式问题（APPLICATION_PROBLEM_JSON_UTF8_VALUE和APPLICATION_JSON_UTF8_...
1.1 我们后台给前端返回时数据的时候设置的返回格式的：MediaType.APPLICATION_JSON_UTF8_VALUE，希望前端（我们前端故事机是freertos系统）请求得到数据能直接得到中文。 见代码： @RestController @...
- Python实践：编码问题
参考：http://wangye.org/blog/archives/629/ 今天准备将某SQLite数据库的内容导出到文本文档(*.txt)中，设计的Python程序如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ...import sqlite3
- 关于序列化，utf编码格式和unicode编码
因此，无论是硬盘中还是内存中，虽然存的都是二进制码，但是字符的编码方式可以是utf9,unicode等等。 2. 序列化只是一种将对象写入字节流的方法而已。可以自己去定义对象的拆分和组装，对象中的字符，写入字节流时...
- gbk/utf8/unicode编码转换，不依赖任何系统API自己实现与平台无关的转换算法
GBK、UTF8、Unicode，这三种编码是一般程序开发，或者各种应用中最常见的三种编码方式了，还不知道基本概念的赶快请教搜索引擎自己科普一下。 本文的目的不是来讲述什么是GBK编码，什么是UTF8编码，他们的...
- notepad++ unicode转中文_跪求大家项目里文件名永远不要用中文！永远不要！
类似这样子，什么都识别不了：后来请教了一位大佬怎么解决文件名乱码的问题，他说这个需要正面解决吗？不需要，把文件名全部改掉，文件名永远不要用中文，永远不要。我想他这么说的话，一定也是凭经验得出来的...
- 图片加水印时文本为unicode编码乱码问题
我在把文字写入图片时，如果字符串为unicode编码的话，生成的图片部分字符乱码，不过这个字符串如果使用log4j编码为utf-8打印到日志文件时是正常的，但在console控制台打印出来跟图片是一样的，也是部分字符乱码那。...
- SkinMagic皮肤库能否支持unicode
本人现在需要将MFC工程编译成unicode。但是发现以前用的SkinMagic皮肤库不支持，网上搜了好久有的说可以支持有的说不可以。在此，向各位请教。如果可以的话哪里可以搞到库文件，谢谢大家！
- python可以处理任何字符编码文本是对的吗_python2.7字符编码：首先decode('utf-8)然后保存的时候又encode('...
想请教一下python2.7下字符...然后如果将这些unicode编码的内容保存到文件的时候有调用encode(‘utf-8’)以utf-8编码保存有没有必要？# -*-coding:utf-8 -*-的作用是不是保存当前.py文件为utf-8编码？1.有必要dec...
- poi 解析中文_用POI解析Excel 出现的不能识别的编码问题
详细如下：1.使用POI解析读取Excel文档，里面有中文，有数字，大概有20个列，然后解析出来很多地方的最后面有一个问号，但是用问号匹配又不对，所以猜测其是乱码，或者说是不能显示的...详细如下：1....
- [Erlang 0062] Erlang Unicode 两三事
今天请教立涛之后梳理了一下,整理于此. 概念Unicode UTF-8 《深入理解计算机系统》里面提到过"信息=数据位+上下文",同样的数据在不同的上下文环境有不同的解读方式; 同样的二进制数据按照不同的编码规范去解析得出...
- 字节数组解Unicode字符串
这段时间遇到一个问题是需要遇到一个BinaryReader(里面可能...虽然提供这个字节流的官方中声明了“字符串以Unicode编码”的，但是由于以前对编码知识了解并并不多，所以看到这个声明的时候，我开始是忽略的！o(╯□╰)
- 字符编码笔记：ASCII，Unicode和UTF-8（转）
字符编码笔记：ASCII，Unicode和UTF-8（转） 作者： 阮一峰 日期： 2007年10月28日 今天中午，我突然想搞清楚Unicode和UTF-8之间的关系，于是就开始在网上查资料。 结果，这个问题比我想象的复杂，从午饭后一直...
- cocos2x-lua unicode 转码
在lua中向google请求了一段翻译结果，得到了一行字符串：{"from":"auto","to":"ko","src":"hello","res":"\uc548\ub155\ud558\uc138\uc694"}，本来应该是一段直接可以解析的json但是，后面的unicode编码会报错。...
- Python连接mysql时，出现编码问题的解决方法
（1）、首先，要保证文件的开头要加上编码设置来说明文件的编码 复制代码 代码如下:#encoding=utf-8（2）、然后，在连接数据的连接参数里加上字符集说明查询出的结果的编码，这个不加的后果可能是查询出的汉字字符...
- 字符编码笔记：ASCII，Unicode 和 UTF-8(转帖、留着自己学习）
http://www.ruanyifeng.com/blog/2007/10/ascii_unicode_and_utf-8.html 阮一峰的网络日志 » 首页 » 档案 ...字符编码笔记：ASCII，Unicode 和 UTF-8 分享按钮 作者： 阮一峰 日期： 2007年10月28日 ...
- java编码类型_浅谈java编码类型
最近在学习IO技术的时候总是出现乱码问题，最后请教大神才知道是文件编码的不同才导致的乱码。为了避免下次出现乱码，这里对编码问题做个总结，因为本人初学，难免会有遗漏或错误，欢迎各路大虾指正。首先来看下什么...
- php 正则匹配unicode,PHP中正则表达式对UNICODE字符码的匹配
酷暑难耐，又在家宅一整天。天气热或许是借口，尽管不热，我也喜欢宅在家。晚上看新三国83集(插一句，最近世界杯很火，可是我不看世界杯。来鄙视我吧)，一直看到10点半，突然觉得肚子痛，赶紧直奔厕所。...
- java爬虫乱码 unicode_从此再也不怕爬虫“乱码”问题！
作者 | 丁彦军责编 | 仲培艺近日，有位粉丝向我请教，在爬取某网站时，网页的源代码出现了中文乱码问题，本文就将与大家一起总结下关于网络爬虫的乱码处理。注意，这里不仅是中文乱码，还包括一些如日文、韩文 、...
- 字符编码格式转换
C#之类的面向对象语言中，如何进行编码格式的转换？ 在C语言中，我们使用printf函数可以轻易的将一种格式打印为另外一种格式，如%d,%f,这样就会看到不同的结果。 C#中如何将一种格式编码成另外一种格式？ 如"12345...
- Erlang unicode
今天请教立涛之后梳理了一下,整理于此. 概念Unicode UTF-8 《深入理解计算机系统》里面提到过"信息=数据位+上下文",同样的数据在不同的上下文环境有不同的解读方式; 同样的二进制数据按照不同的编码规范去...
- java getBytes("Unicode"))结果为[-2, -1, 0, 97]
//unicode编码 System.out.println(Arrays.toString("a".getBytes("UTF-8"))); System.out.println(Arrays.toString("a".getBytes("Unicode"))); System.out.println(Arrays.toString("a".getBytes("GBK")))...
- Delphi操作Unicode字符
===================================Delphi：=================================================== 当前版本(2007)中的默认状态下, String 就是 AnsiString ...string = UnicodeString; (同样: PString = PUnicod
- java EBCDIC编码转码问题
接收到一个edbcic编码的16进制字符串，其中包含中文，如何转为unicode编码(gbk)字符串，使用acsii转换一下可以吗，但是ascii是不能解码中文的吧，请教下如何转换啊啊，谢谢
- mysql设置字符集 php_MySQL字符集编码设置与PHP显示乱码的解决办法
转自：博客水木 http://shuimu.js.cn/mysql-php-character-set-encoding-settings-and-garbled-solution.htmlPHP显示MySQL查询结果时显示乱码...文章中将会为大家具体介绍PMySQL字符集编码设置与PHP显示乱码的解决办法...
- 请教四字节汉字如何在VC++中输入、存贮和输出，GB码和UNICODE转换 ？
请教四字节汉字如何在VC++中输入、存贮和输出，GB码和UNICODE...[ 图片说明](https://img-ask.csdn.net/upload/201505/16/1431779334_627717.png)，其GB编码为“0X9634B631”，占用四个字节，unicode编码为“0X23D13”
- CSS unicode-range特定字符使用font-face自定义字体
一、unicode-range是什么？ 一看名称，很多小伙伴可能认为是个什么生僻的东西，实际上，这玩意只是名字怪怪的，功能关键时刻还是很管用的。 unicode-range是一个CSS属性，一般和@font-face规则一起使用。 大家...
- 字符编码笔记：ASCII，Unicode和UTF-8
阮一峰的网络日志 » 首页 » 档案 上一篇：《新编高中...字符编码笔记：ASCII，Unicode和UTF-8 分享按钮 作者： 阮一峰 日期： 2007年10月28日 今
- JAVA输出带BOM的UTF-8编码的文件
当从http 的response输出CSV文件的时候，设置为utf8的时候默认...bom的，但是windows的Excel是使用bom来确认utf8编码的，所有需要把bom写到文件的开头。 微软在 UTF-8 中使用 BOM 是因为这样可以把 UTF-8 和 ASCI...
- ctf中文转unicode_项目里文件名不要用中文！永远不要！
类似这样子，什么都识别不了：后来请教了一位大佬怎么解决文件名乱码的问题，他说这个需要正面解决吗？不需要，把文件名全部改掉，文件名永远不要用中文，永远不要。我想他这么说的话，一定也是凭经验得出来的。这里...