10.5.12.19 - - [02/Feb/2012:13:07:10 +0800] "GET /?a=2&b=3&c=4&d=6&e=8&fi=12 HTTP/1.1" 200 151 "-" "curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5"
我要将里面的参数（红色部分）解析出来，存到数据库。
多个日志文件，一个文件大约500M。
-
本版专家分：1050结帖率 97.65% -
每条日志类似下面这样：
10.5.12.19 - - [02/Feb/2012:13:07:10 +0800] "GET /?a=2&b=3&c=4&d=6&e=8&fi=12 HTTP/1.1" 200 151 "-" "curl/7.15.5 (x86_64-redhat-linux-gnu) libcurl/7.15.5 OpenSSL/0.9.8b zlib/1.2.3 libidn/0.6.5"
我要将里面的参数（红色部分）解析出来，存到数据库。
多个日志文件，一个文件大约500M。
展开阅读全文
-
本版专家分：19765
-
-
黄花
2011年7月 Java大版内专家分月排行榜第二
2011年6月 Java大版内专家分月排行榜第二
-
- 蓝花 2012年1月 Java大版内专家分月排行榜第三
-
-
用正则表达式吧
关于IP地址和日期都有现成的正则表达式（Google一下）可以借用
-
本版专家分：2380 -
IP地址。
有非常好的正则吗？
我没搜到。
郁闷，我都是先正则然后分组程序判断的。
大牛，你帮我搜个好的正则呗。
-
本版专家分：7846 -
字符串解析是需要一些功底的。
-
本版专家分：1050
-
正则效率好像不高。。
-
本版专家分：2385
-
能比较正确就不错了= =~~虽然文件有点略大，希望不会死机
-
本版专家分：883
-
- 签到新秀 累计签到获取，不积跬步，无以至千里，继续坚持！
-
- GitHub 绑定GitHub第三方账户获取
-
-
楼主贴出来的是日志文件中的一行数据么？如果是的话就好办了，每次逐行读取文件，在截取这一行数据中的红色部分，第一个字符串就截取substring(0,9),第二个找到[,截取其后面的红色部分，第三个找到？，截取其后面的红色部分。这样就获得了每一行的这三个字符串了，可以分别存到集合里。
思路就是如此，仅供参考！
-
本版专家分：1050
-
楼上太会偷懒了，第一个明显是ip，ip长度不一定是9个啊，
我自己写了个正则，大家帮忙检查检查^(.+) - - .*\\[(.+) \\+0800\\] .+/aop?(.*) HTTP/1
-
本版专家分：5557
-
通常作为日志都有自己固定的格式,按照格式直接解析日志是最好的办法.
- Java实现获取服务器日志并进行处理解析
步骤如下： 1、本机生成私钥公钥文件 本机进入到.ssh目录下...说明：如果原先./ssh目录下有id_rsa id_rsa.pub这两个文件，以上的一路回车操作会生成新的id_rsa id_rsa.pub来覆盖原来的key文件。 或者想生成不...
- 浅谈JAVA中的日志文件
log4的使用方法：log4是具有日志记录功能，主要通过一个配置文件来对程序进行监测 有两种配置方式：一种程序配置，一种文件配置 有三个主要单元要了解，Logger，appender，layout. logger是进行记录的主要类...
- 浅谈Java项目日志记录和分析 (基于log4j介绍)
一、前言 日志记录是应用程序运行中必不可少的一部分。具有良好格式和完备信息的日志记录可以在程序出现问题时帮助开发...记录日志只是有效地利用日志的第一步，更重要的是如何对程序运行时产生的日志进行处理和分析。
- 实现日志功能的思路
实现日志功能思路参考链接步骤1步骤2保存到 日志表中去测试代码测试实体 student.java自定义注解工具类 LogUtil.java 思路 参考链接 参考链接: https://blog.csdn.net/liu_ling1216/article/details/80207985 //获取...
- Java解析文件内容
本文主要实现对.chk文件的解析，将其内容读出来，存入到一个Map中，文件内容实例为： A0500220140828.CHK
- java解析文件内容入入库
文件以二维的形式存储，行数超过1万行，列数超过2百列（不固定），现在需要进行行转列存储到数据库（入库记录数＝行数*列数），怎么样的执行效率高？
- shell 处理将动态解析的日志文件
有时候，我们需要对一些程序的日志文件进行数据分析，如果是我们自己处理和分析的情况下一般是使用程序读取对应日志文件按照对应规则保存到数据库然后再进行分析。 如果我们直接到日志文件进行分析，我们没有办法...
- python抓取并分析日志样本
最近需要帮我哥做个python小功能，功能的目的就是分析现有的一堆access日志文件（不包含实时增量分析，仅针对固定样本日志，约400mb），从中查找出包含某一关键字的日志，并提取ip出来，统计同一ip出现的次数。...
- python(2):使用python分析大日志文件思路及过程
之前有遇到过要统计几天内的url出现次数的事情，一天有24个gz压缩文件，每个文件大概6G左右，URL的不重复率也很高 使用方法: 1.用shell 解压然后在统计，shell脚本写起来麻烦，统计那一块很多人也不是很熟悉(不也...
- 搭建基于docker的elk平台来分析java日志
目录搭建基于docker的elk平台来分析java日志整体思路关键问题问题如下日志json化解决思路方案一：配置filebeat和logstash方案二：从日志源头处改动在centos7上安装docker安装elk单独测试logstash安装filebeat ...
- Mysql日志抽取与解析
bin选项负责启用，Mysql服务器将在数据根目录创建两个新文件XXX-bin.001和XXX-bin.index，若配置选项没有给出文件名，Mysql将使用主机名称命名这两个文件，其中.index文件包含一份全体日志文件的清单。Mysql会把
- Java基础知识面试题（2020最新版）
文章目录Java概述何为编程什么是Javajdk1.5之后的三大版本JVM、JRE和JDK的关系什么是跨平台性？原理是什么Java语言有哪些特点什么是字节码？采用字节码的最大好处是什么什么是Java程序的主类？应用程序和小程序的...
- 页面日志采集(埋点)思路及其实现
页面日志采集 页面浏览日志采集。指的是当一个页面被浏览器或者APP加载呈现时采集的日志，也是页面浏览量（Page View, PV）和访客数（Unique Visitors，UV）的统计基础。 页面交互日志采集。获取用户操作日志，通过...
- java千万级别数据生成文件思路和优化
一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去. 程序刚开始设计的时候说的是最多百万级别数据，最多50W数据...
- java实现大批量json文件数据去重
上周从数据采集部门拿到一批400份的json文件,每个文件里30w+的json对象,对象里有uid,对重复的uid,需要去重下. 本人电脑4核8G已经不能满足了,总是内存不够用.所以在服务器上写了一下(配置8核128G) ,结果读取文件以及...
- SDK开发中，sdk日志收集方案
多进程下日志的顺序问题：每个进程对应不同日志文件，定时合并文件，并排序； 参考https://www.jianshu.com/p/c4df451673e0 2、定时上传和删除 上传的时机：根据log文件的创建时间判断，大于或等于24小时则...
- 【Java】简单数据同步(日志同步)设计(1)
如何保证数据一致性是很多程序（软件）都避免不了的问题，比如内存数据和文件数据的一致性，多备份数据一致性，多程序的数据同步等。保证数据一致性也有很多种方式：实时同步，准实时同步，定时同步等。 本文主要...
- MySQL数据库三种日志分析
1.2 mysqlbinlog工具解析日志 1.3 mysqlbinlog命令 2 MySQL数据库服务常用日志 2.1 错误日志 2.2 错误日志排查思路 2.3 慢查询日志 2.4 二进制日志 3 MySQL binlog的几种模式 3.1 Row Level 3.2 Statement L...
- 日志那些事之三——日志配置文件解析以及log4j2整合到spring-boot
因此通过系统属性和传统的Spring Boot外部配置文件依然可以很好的支持日志控制和管理。 根据不同的日志系统，你可以按如下规则组织配置文件名，就能被正确加载： Logback：logback-spring.xml, logba...
- JAVA上百实例源码以及开源项目
Java局域网通信——飞鸽传书源代码，大家都知道VB版、VC版还有Delphi版的飞鸽传书软件，但是Java版的确实不多，因此这个Java文件传输实例不可错过，Java网络编程技能的提升很有帮助。 Java聊天程序，包括服务端和...