shell汉字所占字节数如何设置-CSDN论坛

⋅传输连续空格导致socket网络延时 ⋅面试疑问，关于未定义行为和常量字符串，请和老程序员打过交道的进来指点 ⋅shell汉字所占字节数如何设置 更多帖子 关注私信空间博客 xinhua0910 本版专家分：201 结帖率 100%

请问有哪些因素影响shell处理时汉字所占字节（一个还是两个字节）？如何设置？
我是通过shell来处理定长数据，但其中有汉字。我在一些机器上通过设置LANG环境变量，可以设置汉字是一个字节还是两个。如下：

zgs@yssett:~>cut -c 1-2 aaa

你好

12

ab

zgs@yssett:~>echo $LANG

zh_CN.GB2312

zgs@yssett:~>LANG=C

zgs@yssett:~>cut -c 1-2 aaa

你

12

ab

但，并不是所有机器都可以通过设置LANG来达到目的，在另外的机器上并不能生效，所以，请问大家，除了环境变量LANG，还有哪些因素可以影响汉字所占字节，并且如何设置。

0 2013-02-01 16:46:30

回复数 11 只看楼主引用举报楼主

⋅为什么我一说是搞软件方面的，然后别人就认为我懂黑客技术，或者做个外挂啥的很简单？？ ⋅热烈庆祝又一红花到手～～～～～散分，， ⋅程序遇到一个最诡异的BUG了．．． 更多帖子 关注私信空间博客 fdl19881 本版专家分：6529 红花 2013年3月 Linux/Unix社区大版内专家分月排行榜第一 2013年1月 Linux/Unix社区大版内专家分月排行榜第一 蓝花 2013年4月 Linux/Unix社区大版内专家分月排行榜第三 2012年12月 Linux/Unix社区大版内专家分月排行榜第三: 目前使用的各种编码中，汉字至少是2字节吧。不可以变为1字节的。。
GB2312的编码，汉字都是2字节。。如果用utf-8的话，汉字从2字节到3，4字节的都有。

其实我没看明白你的例子，两个结果是一样的啊

0 2013-02-02 00:40:10

只看TA 引用举报 #1 得分 2

⋅【散分】恭喜您获得了"蓝花"勋章 ⋅【散分】恭喜您获得了"黄花"勋章 ⋅【散分】恭喜您获得了"蓝花"勋章 更多帖子 关注私信空间博客 ljc007 本版专家分：19349 版主 红花 2014年3月 Linux/Unix社区大版内专家分月排行榜第一 2014年2月 Linux/Unix社区大版内专家分月排行榜第一 2013年12月 Linux/Unix社区大版内专家分月排行榜第一 2013年10月 Linux/Unix社区大版内专家分月排行榜第一 2013年6月 Linux/Unix社区大版内专家分月排行榜第一 2012年12月 Windows专区大版内专家分月排行榜第一 2009年10月 Windows专区大版内专家分月排行榜第一 2009年7月 Windows专区大版内专家分月排行榜第一 2009年6月 Windows专区大版内专家分月排行榜第一 2009年5月 Windows专区大版内专家分月排行榜第一 2008年11月 Windows专区大版内专家分月排行榜第一 2008年10月 Windows专区大版内专家分月排行榜第一 2007年5月 Windows专区大版内专家分月排行榜第一 黄花 2014年6月 Linux/Unix社区大版内专家分月排行榜第二 2014年1月 Linux/Unix社区大版内专家分月排行榜第二 2013年11月 Linux/Unix社区大版内专家分月排行榜第二 2010年6月 Windows专区大版内专家分月排行榜第二 2010年4月 Windows专区大版内专家分月排行榜第二 2010年3月 Windows专区大版内专家分月排行榜第二 2009年12月 Windows专区大版内专家分月排行榜第二 2009年11月 Windows专区大版内专家分月排行榜第二 2008年7月 Windows专区大版内专家分月排行榜第二 2008年1月 Windows专区大版内专家分月排行榜第二 2007年12月 Windows专区大版内专家分月排行榜第二 2007年11月 Windows专区大版内专家分月排行榜第二 2007年10月 Windows专区大版内专家分月排行榜第二 2007年6月 Windows专区大版内专家分月排行榜第二 蓝花 2014年7月 Linux/Unix社区大版内专家分月排行榜第三 2014年4月 Linux/Unix社区大版内专家分月排行榜第三 2013年1月 Linux/Unix社区大版内专家分月排行榜第三 2010年5月 Windows专区大版内专家分月排行榜第三 2009年9月 Windows专区大版内专家分月排行榜第三 2009年8月 Windows专区大版内专家分月排行榜第三 2008年8月 Windows专区大版内专家分月排行榜第三 2008年6月 Windows专区大版内专家分月排行榜第三 2007年9月 Windows专区大版内专家分月排行榜第三 2007年7月 Windows专区大版内专家分月排行榜第三 2007年4月 Windows专区大版内专家分月排行榜第三

引用

除了环境变量LANG，还有哪些因素可以影响汉字所占字节，并且如何设置。

查看一下文件aaa的编码

file aaa

0 2013-02-02 08:28:55

只看TA 引用举报 #2 得分 2

⋅直播 - react+redux+react-router 制作 SPA 入门教程 ⋅你们怎么学会原型链的。 ⋅实时库存系统大家有什么设计思路么。 更多帖子 关注私信空间博客 qq120848369 本版专家分：35815 版主 红花 2013年8月 Linux/Unix社区大版内专家分月排行榜第一 2012年11月 Linux/Unix社区大版内专家分月排行榜第一 2012年10月 Linux/Unix社区大版内专家分月排行榜第一 2012年9月 Linux/Unix社区大版内专家分月排行榜第一 2012年7月 Linux/Unix社区大版内专家分月排行榜第一 2012年6月 Linux/Unix社区大版内专家分月排行榜第一 2012年5月 Linux/Unix社区大版内专家分月排行榜第一 2011年11月 Linux/Unix社区大版内专家分月排行榜第一 黄花 2013年6月 Linux/Unix社区大版内专家分月排行榜第二 2013年5月 Linux/Unix社区大版内专家分月排行榜第二 2013年3月 Linux/Unix社区大版内专家分月排行榜第二 2013年1月 Linux/Unix社区大版内专家分月排行榜第二 2012年12月 Linux/Unix社区大版内专家分月排行榜第二 2012年8月 Linux/Unix社区大版内专家分月排行榜第二 2011年12月 Linux/Unix社区大版内专家分月排行榜第二 2011年10月 C/C++大版内专家分月排行榜第二 2011年10月 Linux/Unix社区大版内专家分月排行榜第二 蓝花 2012年6月 C/C++大版内专家分月排行榜第三 2012年6月 PHP大版内专家分月排行榜第三 2012年5月 C/C++大版内专家分月排行榜第三 2012年3月 Linux/Unix社区大版内专家分月排行榜第三 2012年2月 Linux/Unix社区大版内专家分月排行榜第三 2011年11月 C/C++大版内专家分月排行榜第三: 不是你设置什么编码汉字就变成几个字节了，对编码的认识等于0.

本末倒置了。

0 2013-02-02 14:22:48

只看TA 引用举报 #3 得分 0

⋅传输连续空格导致socket网络延时 ⋅面试疑问，关于未定义行为和常量字符串，请和老程序员打过交道的进来指点 ⋅shell汉字所占字节数如何设置 更多帖子 关注私信空间博客 xinhua0910 本版专家分：201: 引用 1 楼 fdl19881 的回复:
目前使用的各种编码中，汉字至少是2字节吧。不可以变为1字节的。。
GB2312的编码，汉字都是2字节。。如果用utf-8的话，汉字从2字节到3，4字节的都有。

其实我没看明白你的例子，两个结果是一样的啊

你没发现吗，第一个LANG为zh_CN.GB2312时cut取2位，结果出现在两个汉字“你好”，相当于把汉字当成一位了。将LANG设成C后，cut取两位得到的是一个汉字“你”，这个才是我们理解的一个汉字占两位。

0 2013-02-03 22:26:19

只看TA 引用举报 #4 得分 0

⋅传输连续空格导致socket网络延时 ⋅面试疑问，关于未定义行为和常量字符串，请和老程序员打过交道的进来指点 ⋅shell汉字所占字节数如何设置 更多帖子 关注私信空间博客 xinhua0910 本版专家分：201: 引用 3 楼 qq120848369 的回复:
不是你设置什么编码汉字就变成几个字节了，对编码的认识等于0.

本末倒置了。
应该说是占几位吧，我不知道在shell中这个名词具体怎么说。
麻烦你也看看是什么原因，第一个LANG为zh_CN.GB2312时cut取2位，得到的是两个汉字“你好”；将LANG设成C后，cut取两位得到的是一个汉字“你”。
主要是的，有些机器上无论怎么设置LANG，cut取2位，始终得到的是两个汉字！

0 2013-02-03 22:30:37

只看TA 引用举报 #5 得分 0

⋅传输连续空格导致socket网络延时 ⋅面试疑问，关于未定义行为和常量字符串，请和老程序员打过交道的进来指点 ⋅shell汉字所占字节数如何设置 更多帖子 关注私信空间博客 xinhua0910 本版专家分：201: 引用 2 楼 ljc007 的回复:
引用除了环境变量LANG，还有哪些因素可以影响汉字所占字节，并且如何设置。
查看一下文件aaa的编码
Plain Text code?1file aaa
aaa是unix格式的，不是dos，直接vi出来的。我的例子中两次执行取2位，因为LNAG不同可以得到不同的结果(一次得到两个汉字，一次只有一个汉字)。但并不是所有机器都能通过设置LANG可以使shell处理时把一个汉字当两位来算，很多都是把一个汉字当一位！

0 2013-02-03 22:35:44

只看TA 引用举报 #6 得分 0

⋅【散分】恭喜您获得了"蓝花"勋章 ⋅【散分】恭喜您获得了"黄花"勋章 ⋅【散分】恭喜您获得了"蓝花"勋章 更多帖子 关注私信空间博客 ljc007 本版专家分：19349 版主 红花 2014年3月 Linux/Unix社区大版内专家分月排行榜第一 2014年2月 Linux/Unix社区大版内专家分月排行榜第一 2013年12月 Linux/Unix社区大版内专家分月排行榜第一 2013年10月 Linux/Unix社区大版内专家分月排行榜第一 2013年6月 Linux/Unix社区大版内专家分月排行榜第一 2012年12月 Windows专区大版内专家分月排行榜第一 2009年10月 Windows专区大版内专家分月排行榜第一 2009年7月 Windows专区大版内专家分月排行榜第一 2009年6月 Windows专区大版内专家分月排行榜第一 2009年5月 Windows专区大版内专家分月排行榜第一 2008年11月 Windows专区大版内专家分月排行榜第一 2008年10月 Windows专区大版内专家分月排行榜第一 2007年5月 Windows专区大版内专家分月排行榜第一 黄花 2014年6月 Linux/Unix社区大版内专家分月排行榜第二 2014年1月 Linux/Unix社区大版内专家分月排行榜第二 2013年11月 Linux/Unix社区大版内专家分月排行榜第二 2010年6月 Windows专区大版内专家分月排行榜第二 2010年4月 Windows专区大版内专家分月排行榜第二 2010年3月 Windows专区大版内专家分月排行榜第二 2009年12月 Windows专区大版内专家分月排行榜第二 2009年11月 Windows专区大版内专家分月排行榜第二 2008年7月 Windows专区大版内专家分月排行榜第二 2008年1月 Windows专区大版内专家分月排行榜第二 2007年12月 Windows专区大版内专家分月排行榜第二 2007年11月 Windows专区大版内专家分月排行榜第二 2007年10月 Windows专区大版内专家分月排行榜第二 2007年6月 Windows专区大版内专家分月排行榜第二 蓝花 2014年7月 Linux/Unix社区大版内专家分月排行榜第三 2014年4月 Linux/Unix社区大版内专家分月排行榜第三 2013年1月 Linux/Unix社区大版内专家分月排行榜第三 2010年5月 Windows专区大版内专家分月排行榜第三 2009年9月 Windows专区大版内专家分月排行榜第三 2009年8月 Windows专区大版内专家分月排行榜第三 2008年8月 Windows专区大版内专家分月排行榜第三 2008年6月 Windows专区大版内专家分月排行榜第三 2007年9月 Windows专区大版内专家分月排行榜第三 2007年7月 Windows专区大版内专家分月排行榜第三 2007年4月 Windows专区大版内专家分月排行榜第三: 引用 6 楼 xinhua0910 的回复:
aaa是unix格式的，不是dos，直接vi出来的。我的例子中两次执行取2位，因为LNAG不同可以得到不同的结果(一次得到两个汉字，一次只有一个汉字)。但并不是所有机器都能通过设置L……

能否把file aaa命令的结果贴出来看看？
UNIX格式或者DOS格式不属于大家提到的编码问题。

0 2013-02-04 08:42:09

只看TA 引用举报 #7 得分 2

daviddb7 本版专家分：1827: 跟编码有关系，有些编码汉字是固定2字节长度，有些UTF的编码，汉字长度是可变的

0 2013-02-04 10:52:30

只看TA 引用举报 #8 得分 2

⋅传输连续空格导致socket网络延时 ⋅面试疑问，关于未定义行为和常量字符串，请和老程序员打过交道的进来指点 ⋅shell汉字所占字节数如何设置 更多帖子 关注私信空间博客 xinhua0910 本版专家分：201

引用 7 楼 ljc007 的回复:

引用 6 楼 xinhua0910 的回复:aaa是unix格式的，不是dos，直接vi出来的。我的例子中两次执行取2位，因为LNAG不同可以得到不同的结果(一次得到两个汉字，一次只有一个汉字)。但并不是所有机器都能通过设置L……
能否把file aaa命令的结果贴出来看看？
UNIX格式或者DOS格式不属于大家提到的编码问题。

不好意思，昨天没有环境没及时发上来。

>file aaa

aaa: ISO-8859 text

我在两台机器上都做过cut测试，一个可以通过设置LANG来达到汉字占两位，一个始终把汉字当一位，两个环境file aaa 都是ISO-8859 text。两个环境如下：

uname -a

Linux yssett 2.6.16.60-0.54.5-bigsmp #1 SMP Fri Sep 4 01:28:03 UTC 2009 i686 i686 i386 GNU/Linux

此环境可以通过设置LANG使汉字占两位

uname -a

Linux linux 2.6.16.60-0.85.1-bigsmp #1 SMP Thu Mar 17 11:45:06 UTC 2011 i686 i686 i386 GNU/Linux

此环境汉字始终占一位，也就是cut -c 1-2 aaa始终都取到了两个汉字

0 2013-02-04 12:19:10

只看TA 引用举报 #9 得分 0

⋅无法收到邮件，不知能不能解决一下 ⋅一个简单到不行的程序，但却诡异的厉害…… ⋅linux中有没有类似windows里的debug命令的功能？ 更多帖子 关注私信空间博客 子谋 本版专家分：1688: 没法规定汉字字节长度，只能规定编码类型……
cut -c 会根据文件的编码，取得n个字符，不可能强制规定取多少个字节……
如果想规定字节，就用-b参数……
lz想的太理想化了，你做这种假设的前提就是任何一种编码对于汉字编码都是定长的，那假如一种编码方式对汉字不是定长编码怎么办？你怎么确定下一个字符是双字节还是三字节？甚至是四字节？
另外，LANG只能设置编码类型，LANG=C也是设置编码类型，只能说LANG=C是一种单字节编码方式，但是单字节编码方式可不是只有一种，所以不能说LANG=C就代表所有的单字节编码……

0 2013-02-06 11:26:34

只看TA 引用举报 #10 得分 32

⋅传输连续空格导致socket网络延时 ⋅面试疑问，关于未定义行为和常量字符串，请和老程序员打过交道的进来指点 ⋅shell汉字所占字节数如何设置 更多帖子 关注私信空间博客 xinhua0910 本版专家分：201: 引用 10 楼 MESH4444 的回复:
没法规定汉字字节长度，只能规定编码类型……
cut -c 会根据文件的编码，取得n个字符，不可能强制规定取多少个字节……
如果想规定字节，就用-b参数……
lz想的太理想化了，你做这种假设的前提就是任何一种编码对于汉字编码都是定长的，那假如一种编码方式对汉字不是定长编码怎么办？你怎么确定下一个字符是双字节还是三字节？甚至是四字节？
另外，LANG只能设置编码类型，……
恩，用-b确实可以按字节来取，可以满足我的需求。另外，-c的单位应该说是字符，有什么可以影响汉字是占一个字符还是两个字符？

0 2013-02-06 12:49:27

只看TA 引用举报 #11 得分 0

shell汉字所占字节数如何设置 [问题点数：40分，结帖人xinhua0910]