shell汉字所占字节数如何设置

2013-02-01 04:46:30 577 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

shell wc （统计字符数量）的基本使用 wc 命令的功能为统计指定文件中的字节数、字数、行数, 并将统计结果显示输出。语法基本语法： wc [选项] 文件选项含义：选项参数含义 -l 统计行数 -w 统计字数 -m 统计字符数 -c 统计字节数示例： wc1.txt 内容如下： 1 2 34 5 你好对 wc1.tx 进行统计，执行结果如下： [java@localhost java_demo]$ wc -l wc1.txt 3 wc1.txt [java@localhost jav 阅读详情

请问有哪些因素影响shell处理时汉字所占字节（一个还是两个字节）？如何设置？
我是通过shell来处理定长数据，但其中有汉字。我在一些机器上通过设置LANG环境变量，可以设置汉字是一个字节还是两个。如下：

zgs@yssett:~>cut -c 1-2 aaa

你好

12

ab

zgs@yssett:~>echo $LANG

zh_CN.GB2312

zgs@yssett:~>LANG=C

zgs@yssett:~>cut -c 1-2 aaa

你

12

ab

但，并不是所有机器都可以通过设置LANG来达到目的，在另外的机器上并不能生效，所以，请问大家，除了环境变量LANG，还有哪些因素可以影响汉字所占字节，并且如何设置。

...全文

Cadence Allegro新手避坑：从原理图到PCB，解决‘netrev.lst does not exist’的完整流程本文详细介绍了Cadence Allegro从原理图设计到PCB导入网表的完整流程，特别针对新手常见的'netrev.lst does not exist'错误提供了系统解决方案。内容包括环境准备、原理图设计规范、网表生成与导入技巧，以及设计数据管理最佳实践，帮助工程师高效完成PCB设计任务。阅读详情

xinhua0910

系统维护与使用区 19,615 成员 74,556 内容

+ 关注 + 加入社区

切换为时间正序

xinhua0910 2013-02-06

打赏
举报

引用 10 楼 MESH4444 的回复:

没法规定汉字字节长度，只能规定编码类型…… cut -c 会根据文件的编码，取得n个字符，不可能强制规定取多少个字节…… 如果想规定字节，就用-b参数…… lz想的太理想化了，你做这种假设的前提就是任何一种编码对于汉字编码都是定长的，那假如一种编码方式对汉字不是定长编码怎么办？你怎么确定下一个字符是双字节还是三字节？甚至是四字节？另外，LANG只能设置编码类型，……

恩，用-b确实可以按字节来取，可以满足我的需求。另外，-c的单位应该说是字符，有什么可以影响汉字是占一个字符还是两个字符？

子谋 2013-02-06

打赏
举报

没法规定汉字字节长度，只能规定编码类型…… cut -c 会根据文件的编码，取得n个字符，不可能强制规定取多少个字节…… 如果想规定字节，就用-b参数…… lz想的太理想化了，你做这种假设的前提就是任何一种编码对于汉字编码都是定长的，那假如一种编码方式对汉字不是定长编码怎么办？你怎么确定下一个字符是双字节还是三字节？甚至是四字节？另外，LANG只能设置编码类型，LANG=C也是设置编码类型，只能说LANG=C是一种单字节编码方式，但是单字节编码方式可不是只有一种，所以不能说LANG=C就代表所有的单字节编码……

xinhua0910 2013-02-04

打赏
举报

引用 7 楼 ljc007 的回复:

引用 6 楼 xinhua0910 的回复:aaa是unix格式的，不是dos，直接vi出来的。我的例子中两次执行取2位，因为LNAG不同可以得到不同的结果(一次得到两个汉字，一次只有一个汉字)。但并不是所有机器都能通过设置L…… 能否把file aaa命令的结果贴出来看看？ UNIX格式或者DOS格式不属于大家提到的编码问题。

不好意思，昨天没有环境没及时发上来。

>file aaa
aaa: ISO-8859 text

我在两台机器上都做过cut测试，一个可以通过设置LANG来达到汉字占两位，一个始终把汉字当一位，两个环境file aaa 都是ISO-8859 text。两个环境如下：

uname -a
Linux yssett 2.6.16.60-0.54.5-bigsmp #1 SMP Fri Sep 4 01:28:03 UTC 2009 i686 i686 i386 GNU/Linux

此环境可以通过设置LANG使汉字占两位

uname -a
Linux linux 2.6.16.60-0.85.1-bigsmp #1 SMP Thu Mar 17 11:45:06 UTC 2011 i686 i686 i386 GNU/Linux

此环境汉字始终占一位，也就是cut -c 1-2 aaa始终都取到了两个汉字

daviddb7 2013-02-04

打赏
举报

跟编码有关系，有些编码汉字是固定2字节长度，有些UTF的编码，汉字长度是可变的

ljc007 2013-02-04

打赏
举报

引用 6 楼 xinhua0910 的回复:

aaa是unix格式的，不是dos，直接vi出来的。我的例子中两次执行取2位，因为LNAG不同可以得到不同的结果(一次得到两个汉字，一次只有一个汉字)。但并不是所有机器都能通过设置L……

能否把file aaa命令的结果贴出来看看？ UNIX格式或者DOS格式不属于大家提到的编码问题。

xinhua0910 2013-02-03

打赏
举报

引用 2 楼 ljc007 的回复:

引用除了环境变量LANG，还有哪些因素可以影响汉字所占字节，并且如何设置。查看一下文件aaa的编码 Plain Text code?1file aaa

aaa是unix格式的，不是dos，直接vi出来的。我的例子中两次执行取2位，因为LNAG不同可以得到不同的结果(一次得到两个汉字，一次只有一个汉字)。但并不是所有机器都能通过设置LANG可以使shell处理时把一个汉字当两位来算，很多都是把一个汉字当一位！

xinhua0910 2013-02-03

打赏
举报

引用 3 楼 qq120848369 的回复:

不是你设置什么编码汉字就变成几个字节了，对编码的认识等于0. 本末倒置了。

应该说是占几位吧，我不知道在shell中这个名词具体怎么说。麻烦你也看看是什么原因，第一个LANG为zh_CN.GB2312时cut取2位，得到的是两个汉字“你好”；将LANG设成C后，cut取两位得到的是一个汉字“你”。主要是的，有些机器上无论怎么设置LANG，cut取2位，始终得到的是两个汉字！

xinhua0910 2013-02-03

打赏
举报

引用 1 楼 fdl19881 的回复:

目前使用的各种编码中，汉字至少是2字节吧。不可以变为1字节的。。 GB2312的编码，汉字都是2字节。。如果用utf-8的话，汉字从2字节到3，4字节的都有。其实我没看明白你的例子，两个结果是一样的啊

你没发现吗，第一个LANG为zh_CN.GB2312时cut取2位，结果出现在两个汉字“你好”，相当于把汉字当成一位了。将LANG设成C后，cut取两位得到的是一个汉字“你”，这个才是我们理解的一个汉字占两位。

fdl19881 2013-02-02

打赏
举报

目前使用的各种编码中，汉字至少是2字节吧。不可以变为1字节的。。 GB2312的编码，汉字都是2字节。。如果用utf-8的话，汉字从2字节到3，4字节的都有。其实我没看明白你的例子，两个结果是一样的啊

ljc007 2013-02-02

打赏
举报

引用

除了环境变量LANG，还有哪些因素可以影响汉字所占字节，并且如何设置。

查看一下文件aaa的编码

file aaa

qq120848369 2013-02-02

打赏
举报

不是你设置什么编码汉字就变成几个字节了，对编码的认识等于0. 本末倒置了。

shell汉字所占字节数如何设置

相关推荐