shell解析日志，如何加快速度。

jsyxcjw 2015-01-31 10:36:19

现有20个日志文件，每个大小256M。需要通过开始时间和结束时间，还有日志级别查询。格式如下：
2015-12-12 19:12:21,140 INFO orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
2015-12-12 19:12:21,190 INFO orr.pache.common,fasfEFEFEWbsFFFFFFFFFFFFFFFFFFFFFFFF
2015-12-12 19:12:21,191 INFO orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFnsFFFFFFFFFFFFFFFFFFFFFFFFF
2015-12-12 19:12:21,278 INFO orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF20
2015-12-12 19:12:21,290 INFO orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
2015-12-12 19:12:21,359 WARN orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
2015-12-12 19:12:21,453 INFO orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
2015-12-12 19:12:21,478 ERROR orr.pache.common,fasfEFEFEWFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFFF
.....
时间从上往下递增，每个日志文件开头或者结尾可能或有格式不规则的说明，或者无效的数据。
例如：需要查找2015-12-12 19:12:21,140到2015-12-12 19:12:31,140之间，级别为INFO的记录。
目前我是通过awk查询的，遍历每个文件，但是性能不行。

希望大神们给点建议，谢谢。

...全文

549 5 打赏收藏转发到动态举报

写回复

5 条回复

切换为时间正序

请发表友善的回复…

发表回复

alinly 2015-09-15

打赏
举报

回复

先用grep出来到一个文件然后用awk

一根烂笔头 2015-03-02

打赏
举报

回复

看看脚本有优化的空间没有

kill_string 2015-02-03

打赏
举报

回复

awk解析文件很快了，把你写的脚本贴出来看下，是否可以优化。

jsyxcjw 2015-02-01

打赏
举报

回复

日志文件现有的，没法加了。

我用双手-成就你的梦想 2015-01-31

打赏
举报

回复

建议在生成日志的时候加标记然后查询某个日志文件就行

从nginx日志中获取2021:01:17日 21:30至21:50的日志内容 #sed中取的两个时间点21:31:36与21:50:08必须是日志中实际存在的，用21:30:01与21:50:01获取不到数据； cat access.log | egrep '17/Jan/2021' | sed -n '/21...

#获取nigin日志 log_path='/usr/local/nginx/logs/access.log' cat $log_path | while read line do #判断该条信息是否为我们需要 if [[ $line == *'eleId='* ]] then #替换中=和&的转译符 $line=...

#!/bin/bash DIR=$(cd $(dirname $0);pwd) LOGPATH=${DIR}/install.log GREEN='\033[0;32m' RED='\033[0;31m' NOCOLOR='\033[0m' YELLOW='\033[0;33m' logSuccess() { printf "${GREEN} $1 ${NO... "${LOGPATH}".

/bin/bash#######################################################by：亚信同事# 日志关键字 isClosed:true 在10分钟内连续出现则 1级告警# 监控当前日志：/app/aichannel/uds/tomcat/logs/catalina.outYYYYMMDD# ...

文章目录一、需求说明二、脚本代码一、需求说明系统有报错文件error.log... awk命令：获取error.log日志文件中包含 ERROR 关键字的行，行里面读取第一列和第二列（时间和分钟） # 2. cat命令：按行读取文件中最新的

2,161

社区成员

4,355

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章