用lucene实现日志内容搜索，求方案

Shellphon 2012-11-18 05:23:52

客户在网站出现问题了，开发人员给予解决，一般都是查看当时案发日志来诊案，所以日志搜索管理有很大的必要。
最近研究了点点lucene，用来弄了一个搜索多个日志文件（txt，按天来生成文件），但是只是通过搜索关键词，获得匹配度比较高的几个日志文件路径，然后通过文件读入字符串，字符串截取（关键字搜索）部分内容给予显示。
明显与需求不符：
要查看具体到分钟的日志内容时，完全靠字符串的操作，能力有限，文件大的时候怕是出问题（循环截取？？）。无法实时获得关键位置.
不知是否有朋友做过类似的日志搜索？或者给点经验和方案？

...全文

153 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

1 引言 1 1.1 研究背景及意义 1 1.2 本课题主要工作 1 2 数据提取技术 1 2.1 Microsoft Documents内容提取 2 2.2 PDF文档内容提取 3 2.3 网页数据提取技术 4 3 全文索引与搜索技术 6 3.1 全文检索 6 3.2 Lucene全文检索类库 6 3.3 中文分词 7 3.4 IKAnalyzer中文分词类库 7 3.5 索引与搜索核心算法 7 4 数据库连接技术 8 4.1 JDBC 8 4.2 本实验对数据库连接的封装 9 5 实验环境 9 6 本地文件全文搜索实验方案 10 6.1 系统简介 10 6.2 实现方案介绍 11 6.3 工程模块各类关系介绍 12 6.4 程序运行界面 13 7 网络数据全文搜索实验方案 13 7.1 系统简介 13 7.2 校内公文通检索 14 7.2.1 系统简介 14 7.2.2 实现方案介绍 14 7.2.3 工程模块各类关系介绍 15 7.2.4 程序运行界面截图 16 7.3 腾讯微博相关数据检索 17 7.3.1 系统简介 17 7.3.2 实现方案介绍 17 7.3.3 工程模块各类的关系介绍 20 7.3.4 工程模块运行界面 22 7.4 人人网日志相关信息检索 23 7.4.1 系统简介 23 7.4.2 实现方案介绍 23 7.4.3 工程模块各类关系介绍 24 7.4.4 工程模块运行界面截图 25 8 结束语 26 参考文献 27 致谢 28 Abstract(Key words) 29

第1章　面向服务的体系架构（SOA） 1 　　本章主要介绍和解决以下问题，这些也是全书的基础：　　HTTP协议的工作方式与HTTP网络协议栈的结构。　　如何实现基于HTTP协议和TCP协议的RPC调用，它们之间有何差别，分别适应何种场景。　　如何实现服务的动态注册和路由，以及软负载均衡的实现。　　1.1　基于TCP协议的RPC 3 　　1.1.1　RPC名词解释 3 　　1.1.2　对象的序列化 4 　　1.1.3　基于TCP协议实现RPC 6 　　1.2　基于HTTP协议的RPC 9 　　1.2.1　HTTP协议栈 9 　　1.2.2　HTTP请求与响应 15 　　1.2.3　通过HttpClient发送HTTP请求 16 　　1.2.4　使用HTTP协议的优势 17 　　1.2.5　JSON和XML 18 　　1.2.6　RESTful和RPC 20 　　1.2.7　基于HTTP协议的RPC的实现 22 　　1.3　服务的路由和负载均衡 30 　　1.3.1　服务化的演变 30 　　1.3.2 负载均衡算法 33 　　1.3.3 动态配置规则 39 　　1.3.4 ZooKeeper介绍与环境搭建 40 　　1.3.5 ZooKeeper API使用简介 43 　　1.3.6 zkClient的使用 47 　　1.3.7 路由和负载均衡的实现 50 　　1.4 HTTP服务网关 54 　　第2章　分布式系统基础设施 58 　　本章主要介绍和解决如下问题：　　分布式缓存memcache的使用及分布式策略，包括Hash算法的选择。　　常见的分布式系统存储解决方案，包括MySQL的分布式扩展、HBase的API及使用场景、Redis的使用等。　　如何使用分布式消息系统ActiveMQ来降低系统之间的耦合度，以及进行应用间的通信。　　垂直化的搜索引擎在分布式系统中的使用，包括搜索引擎的基本原理、Lucene详细的使用介绍，以及基于Lucene的开源搜索引擎工具Solr的使用。　　2.1 分布式缓存 60 　　2.1.1 memcache简介及安装 60 　　2.1.2 memcache API与分布式 64 　　2.1.3 分布式session 69 　　2.2 持久化存储 71 　　2.2.1 MySQL扩展 72 　　2.2.2 HBase 80 　　2.2.3 Redis 91 　　2.3 消息系统 95 　　2.3.1 ActiveMQ & JMS 96 　　2.4 垂直化搜索引擎 104 　　2.4.1 Lucene简介 105 　　2.4.2 Lucene的使用 108 　　2.4.3 Solr 119 　　2.5 其他基础设施 125 　　第3章　互联网安全架构 126 　　本章主要介绍和解决如下问题：　　常见的Web攻击手段和防御方法，如XSS、CRSF、SQL注入等。　　常见的一些安全算法，如数字摘要、对称加密、非对称加密、数字签名、数字证书等。　　如何采用摘要认证方式防止信息篡改、通过数字签名验证通信双方的合法性，以及通过HTTPS协议保障通信过程中数据不被第三方监听和截获。　　在开放平台体系下，OAuth协议如何保障ISV对数据的访问是经过授权的合法行为。　　3.1 常见的Web攻击手段 128 　　3.1.1 XSS攻击 128 　　3.1.2 CRSF攻击 130 　　3.1.3 SQL注入攻击 133 　　3.1.4 文件上传漏洞 139 　　3.1.5 DDoS攻击 146 　　3.1.6 其他攻击手段 149 　　3.2 常用的安全算法 149 　　3.2.1 数字摘要 149 　　3.2.2 对称加密算法 155 　　3.2.3 非对称加密算法 158 　　3.2.4 数字签名 162 　　3.2.5 数字证书 166 　　3.3 摘要认证 185 　　3.3.1 为什么需要认证 185 　　3.3.2 摘要认证的原理 187 　　3.3.3 摘要认证的实现 188 　　3.4 签名认证 192 　　3.4.1 签名认证的原理 192 　　3.4.2 签名认证的实现 193 　　3.5 HTTPS协议 200 　　3.5.1 HTTPS协议原理 200 　　3.5.2 SSL/TLS 201 　　3.5.3 部署HTTPS Web 208 　　3.6 OAuth协议 215 　　3.6.1 OAuth的介绍 215 　　3.6.2 OAuth授权过程 216 　　第4章　系统稳定性 218 　　本章主要介绍和解决如下问题：　　常用的在线日志分析命令的使用和日志分析脚本的编写，如cat、grep、wc、less等命令的使用，以及awk、shell脚本的编写。　　如何进

Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene是一套用于全文检索和搜寻的开源程式库，由Apache软件基金会...

Elasticsearch是基于Lucene实现的分布式搜索引擎，提供了海量数据实时检索和分析能力。Elastic公司开源的一系列产品组成的ElasticStack，可以为日志服务、搜索引擎、系统监控等提供简单、易用的解决方案。滴滴2016年初开始构建Elasticsearch平台，如今已经发展到超过3500+Elasticsearch实例，超过5PB的数据存储，峰值写入tps超过了2000w/s的超大规模。Elasticsearch在滴滴有着非常丰富的使用场景，例如线上核心的打车地图搜索，客服、运营的多维度查询，滴滴日志服务等近千个平台用户。超大的规模和丰富的场景给滴滴Elasticsear

SpringBoot集成Lucene，一步步介绍集成使用步骤，解决和IK分词器冲突的问题。实现多字段检索，高亮返回结果，分页查询等功能。

81,091

社区成员

341,718

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章