shell 文件处理-CSDN论坛

shell 文件处理

Linux/Unix社区 > 应用程序开发区

收藏回复

[问题点数：40分，结帖人zhenwo123]

⋅live555 并发 ⋅live555!!!! ⋅rabbitmq 无法创建exchange 更多帖子 关注私信空间博客 挣扎中前行 等级 本版专家分：69 结帖率 89.8%

#!/bin/sh



while read line

do

	if [ "$line" != "" ];then

		ifileline=`echo $line|awk -F ':' '{print $1}'`

		echo $ifileline

	fi

done < $1

读取处理一个3M左右的文件非常的费时间，请问如何解析处理稍大文件的每一行？

2013-06-19 13:58:08

点赞只看楼主引用举报楼主收起

展开阅读全文

⋅变量声明的时候加花括号是什么意思？ ⋅SSH端口转发关于localhost的疑问 ⋅sz的输出能够屏蔽吗 更多帖子 关注私信空间博客 nicenight 等级 本版专家分：1456

把你整个while循环改成这一句话：

awk -F':' '!/^$/{print $1}' $1



如果不判断空行的话，用这个也行：

cut -d':' -f1 file

2013-06-19 14:48:33

点赞只看TA 引用举报 #1得分 5

⋅变量声明的时候加花括号是什么意思？ ⋅SSH端口转发关于localhost的疑问 ⋅sz的输出能够屏蔽吗 更多帖子 关注私信空间博客 nicenight 等级 本版专家分：1456: 上面的 file 忘记替换为参数１了：
cut -d':' -f1 $1

2013-06-19 14:49:21

点赞只看TA 引用举报 #2得分 0

⋅live555 并发 ⋅live555!!!! ⋅rabbitmq 无法创建exchange 更多帖子 关注私信空间博客 挣扎中前行 等级 本版专家分：69

引用 1 楼 nicenight 的回复:

把你整个while循环改成这一句话：

awk -F':' '!/^$/{print $1}' $1



如果不判断空行的话，用这个也行：

cut -d':' -f1 file

只是简单的几句代码例子，我还要解析处理每行的数据啦！？

2013-06-19 15:04:01

点赞只看TA 引用举报 #3得分 0

⋅真是苦，公司搞了搞扫雷大赛，结果。。。。 ⋅以前我不知道什么是喜欢，今天，我想大声说--猫猫，我喜欢你，咱俩搞基把 ⋅猫猫。说好的幸福呢，你怎么跟了根根这个短JJ呢 更多帖子 关注私信空间博客 Reo_A_ 等级 本版专家分：8

引用 3 楼 zhenwo123 的回复:

Quote: 引用 1 楼 nicenight 的回复:
把你整个while循环改成这一句话：

awk -F':' '!/^$/{print $1}' $1



如果不判断空行的话，用这个也行：

cut -d':' -f1 file
只是简单的几句代码例子，我还要解析处理每行的数据啦！？

awk -F ":" '{
    if($0=="")
        next
    ...
    printf("%s\n",$1)
}END{
}' file > outfile

2013-06-21 15:24:39

点赞只看TA 引用举报 #4得分 0

⋅【散分】恭喜您获得了"蓝花"勋章 ⋅【散分】恭喜您获得了"黄花"勋章 ⋅【散分】恭喜您获得了"蓝花"勋章 更多帖子 关注私信空间博客 版主 ljc007 等级 本版专家分：19349 勋章 红花 2014年3月 Linux/Unix社区大版内专家分月排行榜第一 2014年2月 Linux/Unix社区大版内专家分月排行榜第一 2013年12月 Linux/Unix社区大版内专家分月排行榜第一 2013年10月 Linux/Unix社区大版内专家分月排行榜第一 2013年6月 Linux/Unix社区大版内专家分月排行榜第一 2012年12月 Windows专区大版内专家分月排行榜第一 2009年10月 Windows专区大版内专家分月排行榜第一 2009年7月 Windows专区大版内专家分月排行榜第一 2009年6月 Windows专区大版内专家分月排行榜第一 2009年5月 Windows专区大版内专家分月排行榜第一 2008年11月 Windows专区大版内专家分月排行榜第一 2008年10月 Windows专区大版内专家分月排行榜第一 2007年5月 Windows专区大版内专家分月排行榜第一 黄花 2014年6月 Linux/Unix社区大版内专家分月排行榜第二 2014年1月 Linux/Unix社区大版内专家分月排行榜第二 2013年11月 Linux/Unix社区大版内专家分月排行榜第二 2010年6月 Windows专区大版内专家分月排行榜第二 2010年4月 Windows专区大版内专家分月排行榜第二 2010年3月 Windows专区大版内专家分月排行榜第二 2009年12月 Windows专区大版内专家分月排行榜第二 2009年11月 Windows专区大版内专家分月排行榜第二 2008年7月 Windows专区大版内专家分月排行榜第二 2008年1月 Windows专区大版内专家分月排行榜第二 2007年12月 Windows专区大版内专家分月排行榜第二 2007年11月 Windows专区大版内专家分月排行榜第二 2007年10月 Windows专区大版内专家分月排行榜第二 2007年6月 Windows专区大版内专家分月排行榜第二 蓝花 2014年7月 Linux/Unix社区大版内专家分月排行榜第三 2014年4月 Linux/Unix社区大版内专家分月排行榜第三 2013年1月 Linux/Unix社区大版内专家分月排行榜第三 2010年5月 Windows专区大版内专家分月排行榜第三 2009年9月 Windows专区大版内专家分月排行榜第三 2009年8月 Windows专区大版内专家分月排行榜第三 2008年8月 Windows专区大版内专家分月排行榜第三 2008年6月 Windows专区大版内专家分月排行榜第三 2007年9月 Windows专区大版内专家分月排行榜第三 2007年7月 Windows专区大版内专家分月排行榜第三 2007年4月 Windows专区大版内专家分月排行榜第三: 性能低的原因是，你在while循环里面不停的调用awk，文件有多少行，就好调用多少次，浪费了太多系统资源。
请给出部分原始文本，并说清楚你希望如何处理。
一般来说，一个awk命令就足够了。

2013-06-21 19:07:40

点赞只看TA 引用举报 #5得分 5

⋅浏览帖子时，上有一快捷栏，可用性不好

⋅有请guotianyu2000，你那个以main开始的windows程序有事请教

⋅有请C++版版主Loaden或者mstlq解释下

更多帖子

关注私信空间博客

ForestDB

等级

本版专家分：1328

勋章

签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！

黄花 2013年2月 C/C++大版内专家分月排行榜第二

蓝花 2013年3月 C/C++大版内专家分月排行榜第三: perl不好么
python不好么
ruby不好么
tcl不好么
⋯⋯

2013-06-21 22:47:16

点赞只看TA 引用举报 #6得分 0

⋅live555 并发 ⋅live555!!!! ⋅rabbitmq 无法创建exchange 更多帖子 关注私信空间博客 挣扎中前行 等级 本版专家分：69: 引用 5 楼 ljc007 的回复:
性能低的原因是，你在while循环里面不停的调用awk，文件有多少行，就好调用多少次，浪费了太多系统资源。
请给出部分原始文本，并说清楚你希望如何处理。
一般来说，一个awk命令就足够了。

文件内容是很多软件包的信息(每个包信息以空行分割)，格式如下
Pakage：name
version：123
size：456
依赖关系等信息。

我想提取指定软件包名的信息，若匹配了name则将其下信息提取出，一个awk能够吗？

2013-06-22 10:33:21

点赞只看TA 引用举报 #7得分 0

⋅【散分】恭喜您获得了"蓝花"勋章 ⋅【散分】恭喜您获得了"黄花"勋章 ⋅【散分】恭喜您获得了"蓝花"勋章 更多帖子 关注私信空间博客 版主 ljc007 等级 本版专家分：19349 勋章 红花 2014年3月 Linux/Unix社区大版内专家分月排行榜第一 2014年2月 Linux/Unix社区大版内专家分月排行榜第一 2013年12月 Linux/Unix社区大版内专家分月排行榜第一 2013年10月 Linux/Unix社区大版内专家分月排行榜第一 2013年6月 Linux/Unix社区大版内专家分月排行榜第一 2012年12月 Windows专区大版内专家分月排行榜第一 2009年10月 Windows专区大版内专家分月排行榜第一 2009年7月 Windows专区大版内专家分月排行榜第一 2009年6月 Windows专区大版内专家分月排行榜第一 2009年5月 Windows专区大版内专家分月排行榜第一 2008年11月 Windows专区大版内专家分月排行榜第一 2008年10月 Windows专区大版内专家分月排行榜第一 2007年5月 Windows专区大版内专家分月排行榜第一 黄花 2014年6月 Linux/Unix社区大版内专家分月排行榜第二 2014年1月 Linux/Unix社区大版内专家分月排行榜第二 2013年11月 Linux/Unix社区大版内专家分月排行榜第二 2010年6月 Windows专区大版内专家分月排行榜第二 2010年4月 Windows专区大版内专家分月排行榜第二 2010年3月 Windows专区大版内专家分月排行榜第二 2009年12月 Windows专区大版内专家分月排行榜第二 2009年11月 Windows专区大版内专家分月排行榜第二 2008年7月 Windows专区大版内专家分月排行榜第二 2008年1月 Windows专区大版内专家分月排行榜第二 2007年12月 Windows专区大版内专家分月排行榜第二 2007年11月 Windows专区大版内专家分月排行榜第二 2007年10月 Windows专区大版内专家分月排行榜第二 2007年6月 Windows专区大版内专家分月排行榜第二 蓝花 2014年7月 Linux/Unix社区大版内专家分月排行榜第三 2014年4月 Linux/Unix社区大版内专家分月排行榜第三 2013年1月 Linux/Unix社区大版内专家分月排行榜第三 2010年5月 Windows专区大版内专家分月排行榜第三 2009年9月 Windows专区大版内专家分月排行榜第三 2009年8月 Windows专区大版内专家分月排行榜第三 2008年8月 Windows专区大版内专家分月排行榜第三 2008年6月 Windows专区大版内专家分月排行榜第三 2007年9月 Windows专区大版内专家分月排行榜第三 2007年7月 Windows专区大版内专家分月排行榜第三 2007年4月 Windows专区大版内专家分月排行榜第三: 引用 7 楼 zhenwo123 的回复:
文件内容是很多软件包的信息(每个包信息以空行分割)，格式如下
Pakage：name
version：123
size：456
依赖关系等信息。

我想提取指定软件包名的信息，若匹配了name则将其下信息提取出，一个awk能够吗？

[root@rhel6 tmp]# cat urfile
Pakage: name
version: 123
size: 456

Pakage: csdn1
version: 123
size: 456

Pakage: csdn2
version: 123
size: 456

[root@rhel6 tmp]# awk -v RS= '/Pakage: name/' urfile
Pakage: name
version: 123
size: 456

2013-06-24 20:59:44

点赞只看TA 引用举报 #8得分 30

⋅live555 并发 ⋅live555!!!! ⋅rabbitmq 无法创建exchange 更多帖子 关注私信空间博客 挣扎中前行 等级 本版专家分：69: 引用 8 楼 ljc007 的回复:
Quote: 引用 7 楼 zhenwo123 的回复:

文件内容是很多软件包的信息(每个包信息以空行分割)，格式如下
Pakage：name
version：123
size：456
依赖关系等信息。

我想提取指定软件包名的信息，若匹配了name则将其下信息提取出，一个awk能够吗？

[root@rhel6 tmp]# cat urfile
Pakage: name
version: 123
size: 456

Pakage: csdn1
version: 123
size: 456

Pakage: csdn2
version: 123
size: 456

[root@rhel6 tmp]# awk -v RS= '/Pakage: name/' urfile
Pakage: name
version: 123
size: 456

我测试了下提示这个呢？
bash: awk -v RS=/Pakage: name/: 没有那个文件或目录

2013-06-24 21:18:28

点赞只看TA 引用举报 #9得分 0

⋅关于net-snmp会话的超时时间 ⋅linux 动态库不能识别？ ⋅函数定义中单写一行函数名称自身，有什么含义？ 更多帖子 关注私信空间博客 justkk 等级 本版专家分：55374 勋章 红花 2012年4月 Linux/Unix社区大版内专家分月排行榜第一 2012年3月 Linux/Unix社区大版内专家分月排行榜第一 2012年2月 Linux/Unix社区大版内专家分月排行榜第一 2012年1月 Linux/Unix社区大版内专家分月排行榜第一 2011年7月 Linux/Unix社区大版内专家分月排行榜第一 2011年6月 Linux/Unix社区大版内专家分月排行榜第一 2011年2月 Linux/Unix社区大版内专家分月排行榜第一 2011年1月 Linux/Unix社区大版内专家分月排行榜第一 黄花 2013年7月 Linux/Unix社区大版内专家分月排行榜第二 2012年6月 Linux/Unix社区大版内专家分月排行榜第二 2011年5月 Linux/Unix社区大版内专家分月排行榜第二 2011年4月 Linux/Unix社区大版内专家分月排行榜第二 2011年3月 Linux/Unix社区大版内专家分月排行榜第二 2010年10月 Linux/Unix社区大版内专家分月排行榜第二 2010年9月 Linux/Unix社区大版内专家分月排行榜第二 蓝花 2011年9月 Linux/Unix社区大版内专家分月排行榜第三 2010年12月 Linux/Unix社区大版内专家分月排行榜第三 2010年11月 Linux/Unix社区大版内专家分月排行榜第三 2010年9月 C/C++大版内专家分月排行榜第三: 原样拷贝，不要自己写

RS后面是有空格的

2013-06-24 21:48:51

点赞只看TA 引用举报 #10得分 0

1 2

收起

收藏回复

挣扎中前行

等级：

关注私信 TA的帖子

shell文件处理工具: vim /etc/resolve.conf查看dns6.shell脚本命令1.diffdiff file file 比较两个文件的不同 -c 显示周围的行 -u 按照一格式统一输出生成补丁 -r 比较两个目录中文件的不同pattch file fi...

shell中的文本处理（grep，sed，awk命令）: grep 文本过滤命令sed 行编辑器awk 报告生成器一、grep命令grep 匹配条件 处理文件-a 不要忽略二进制数据。 -A<显示列数> 除了显示符合范本样式的那一行之外，并显示该行之后的内容。 -b 在显示...

shell脚本对文件的处理: shell脚本对文件的处理

linux shell基本文件处理: 介绍linux下一些常见的文本处理工具，这些工具提高文本处理的工作效率，并且，管道让不同的工具协同工作，jianzhi

【shell文件处理技巧】处理xml格式的文件: 转自：https://blog.csdn.net/panda_bear/article/details/8058259 最近在项目中，需要用到shell脚本来解析xml文件。在网上搜了一下，发现有xmlsh等可以用，但是都需要下载安装，使用比较麻烦，后来经过查找在...

linux shell文件处理：将文件内容的每行进行分割，按指定列匹配后输出: cat device.csv |awk -F ',' '{ if(($3=="BDW1459")||($3=="BTR2026")||($3=="HKT1778")||($3=="HSH0292")||($3=="LCB2041")||($3=="MNC0433")||($3=="NFP2441")||($3=="TJM0328")) print $0 }'

Linux之shell编程基础实验----文件处理实例: 根据要求编写shell脚本：（1）利用for循环将指定源目录srcdir下的.c文件移动到指定目的目录destdir下；（2）将目录destdir下的文件，按照文件大小排序，显示移动后指定目录内容；（3）将指定目录中文件大小...

Shell文件操作: linux shell 中文件的操作

shell命令批量处理文件: 1、请问如何从一个关键字文本集合里用grep批量筛选另一个文本？grep -f seed.txt file.txt grep -vf seed.txt file.txt 可扩展：#!/bin/bash for file in ~/zjx/order_succ/* do filename=$(basename $file) ...

如何简化一下shell文件处理过程: ``` cd \txt filelist=`ls` for file in $filelist ...如上面代码所示：功能需求是将该目录下所有文件进行cat uniq操作之后保存回该文件，我使用了temp.txt,不知道有没有可以直接写回文件的命令？请指导！

shell脚本逐行处理文本文件: read命令接收标准输入，或其他文件描述符的输入，得到输入后，read命令将数据放入一个标准变量中。利用read读取文件时，每次调用read命令都会读取文件中的"一行"文本。当文件没有可读的行时，read命令将以非零状态...

在shell中逐行处理csv文件: 最近参加一个mining challenge，需要从csv文件中读取repo和文件信息，然后使用git指令获得文件的更新日志。查下来git指令最方便也要在terminal中使用，就现学了一点shell语法。 while read line do OLD_IFS="...

linux下shell脚本实现文件的批量处理: linux下shell脚本实现文件的批量处理说明：1、shell文件创建2、文件编辑注意：3、执行shell文件4、停止正在执行shell文件 说明：在使用linux虚拟机处理数据的过程中，由于需要处理的文件量较大，并且有大量重复的...

shell处理日志文件常用命令: 学会用shell分析日志只要一上午！！！很多地方分享了日志分析的shell脚本，但是基本没说每个命令符的具体含义，学习成本还是很高，在这里总结下，方便大家快速入门。 1、在Windows下的用户要使用shell命令符的话...

Shell 文件内容替换 sed用法: sed是一个很好的文件处理工具，本身是一个管道命令，主要是以行为单位进行处理，可以将数据行进行替换、删除、新增、选取等特定工作，下面先了解一下sed的用法。调用sed命令有两种形式： sed [options] 'command...

linux shell 读文件按行处理: linux shell 读文件按行处理一种方式是用 cat和反引号 ps:反引号在Linux中起着命令替换的作用。命令替换是指shell能够将一个命令的标准输出插在一个命令行中任何位置。一种是用管道或者重定向 ' | '表示管道连接...

Linux shell 按行切割大文件: 最近项目中，文件内容有点多，想删除一部分的数据，如文件有1000行，想保留600行（仅用来举例，实际需求更复杂些），该怎么办呢？不如把文件切开来，想到用 split 试试 split [-bl] file [prefix] 参数说明： -b...

Shell: Shell 介绍 shell是一个用c语言编写的程序，他被称为用户使用linux的桥梁 shell即是一种命令语言，又是一种程序语言 shell脚本是一种为shell编写的脚本程序 Shell运行环境和运行方式 shell编程和java，...

shell: Shell脚本 shell:是命令解释器 shell的种类：sh、ksh、csh、bash（区别：功能不一样）查看当前系统支持的shell类型：cat /etc/shells 查看当前使用shell：echo $SHELL 用户添加：sudo useradd [参数] 名字 -s ...

Linux Shell环境下用jq命令处理json文件: 有时候需要在Shell环境下处理json文件，这时使用jq命令非常方便。安装 CentOS下可以直接通过yum安装： yum install jq -y 使用方法假设有一个名为test.json的文件，内容如下： { "Summary": { "Version":...

Shell脚本读取配置文件: Shell脚本读取配置文件这里参考了下面这篇博客 https://blog.csdn.net/liubeck/article/details/7497156 不过按照上面的代码我的无法正确运行，又去查了半天才搞明白里面的问题。配置文件为myconfig.ini ...

Shell按行读取文件的3种方法: Shell按行读取文件的方法有很多，常见的三种方法如下：要读取的文件： [root@mini05 20180930-2]# cat file.info 111 222 333 444 555 666 写法一： [root@mini05 20180930-2]# cat read1.sh #!/bin/bash ######...

linux shell 批量处理相同后缀文件: 假如把tmp文件夹下面的所有后缀为txt的文件移动到，message文件夹中

shell 处理将动态解析的日志文件: 有时候，我们需要对一些程序的日志文件进行数据分析，如果是我们自己处理和分析的情况下一般是使用程序读取对应日志文件按照对应规则保存到数据库然后再进行分析。如果我们直接到日志文件进行分析，我们没有办法...

用shell切分文件--split: 问题：最近在做一个接口，日志记录接口停用时的数据，当...因为很大，所以想把它切成若干份，每份N行，以便并行处理。 shell现成的工具--split。语法： split [-bl] file [prefix] 说明： -b, --byt...

shell sed多行文本处理: 3.sed多行文本处理 问题本案例要求使用sed工具来完成下列任务操作：修改主机名配置文件修改hosts文件，添加两条映射记录：192.168.4.5 与 svr5.tarena.com、svr5，还有119.75.217.56与www.baidu.com 方案 sed...

shell 脚本 处理文件最后一行换行符处理/删除最后一行空数据: 最近写脚本处理文本文件最后一行换行符的数据做简单总结 1、将文件file.txt最后一行有换行符的数据追加到一个临时文件temp.txt中（这里可以直接处理掉最后一行的换行符，只把内容追加到temp.txt文件中） tail -n1...

shell中文件后缀，目录等提取方法: 一、使用${} ${var##*/} 该命令的作用是去掉变量var从左边算起的最后一个’/‘字符及其左边的内容，返回从左边算起的最后一个’/’（不含该字符）的右边的内容。使用例子及结果如下： ${var##*.} ...

shell 查找文件并进行替换文件内容: #!/bin/sh path=aaa/bbb for file in `ls $path` do echo $file perl -pi -e 's|a/b/|replace_text|g' $...在当前路径下的：aaa/bbb文件夹下的文件中，搜索"a/b"，并替换为：“replace_text"。 ...

shell脚本实现文件改名/重命名: shell脚本实现文件改名小操作, 在此做一记录. #!/bin/bash #将数据文件.SAC名改为'<sta>.[N/E/Z].SAC' #例如2014.143.20.49.21.0000.YN.BAS.00.BHE.M.SAC改为BAS.E.SAC cd ../Data for FILE in ./*...

相关热词 c#中post获取页面 c# 写一个文本编辑器 c# 相对路径./ c#变量查询数据库语句 c#winfrom打印 c#显示数据库信息 c# 多线程工具类 c# 判断字符串相等 c#线程池类 c#如何遍历容器