ELK如何记录采集的日志行号？

别闹_Fey 2018-10-10 03:25:50

filebeat里面可以可以实现记录日志行号的功能么？如果不行的话，logstash可以么？

...全文

281 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

elasticsearch是一个高度可扩展性的开源全文索引和分析引擎，它可实现数据的实时全文搜索。搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如nginx，tomcat，系统日志等功能。使用java语言开发，建立在全文搜索引擎Apache lucene基础之上的搜索引擎特点：实时搜索、实时分析分布式架构、实时文件存储文档导向，所有对象都是文档高可用，易扩展，支持集群，分片与分配接口友好，支持json。

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash 和 Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求；#输入采用标准输入，输出采用标准输出（类似管道）#键入内容（标准输入）#输出结果（标准输出）#键入内容（标准输入）#输出结果（标准输出）input、output 以及 filter（可选，根据需要选择使用）。input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等。

其实细心一点就会发现一个问题，输出到 ES 的日志格式一点也不友好，实际的应用日志信息都集中在message索引字段中，而且日志的实际输出时间也不是应用中打印日志的时间，而是输出到 ES 的时间。插件可以用来转换你的日志记录中的时间字符串，变成 LogStash::Timestamp 对象，然后转存到 @timestamp 字段里。一个良好的日志格式可以确保日志信息易于阅读、解析和分析，便于在日志分析和故障排查中发挥作用。仔细查看可知，输出的日志信息与预期一致，并且我们日志打印时间也和实际的时间一致。

ELK 是 Elasticsearch、Logstash 和 Kibana 三个开源工具的组合，常用于数据搜索、日志管理和数据可视化Elasticsearch 是一个分布式搜索和分析引擎，基于 Apache Lucene 构建，主要用于存储、搜索和分析大量数据。Logstash 是一个数据收集引擎，能够从多个来源收集数据，进行过滤和转换，然后将数据发送到存储引擎（如 Elasticsearch）。Kibana 是一个数据可视化和分析平台，专为与 Elasticsearch 一起使用而设计。

奶妈级ELK日志分析系统搭建

21,498

社区成员

41,617

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章