ELK如何记录采集的日志行号？

别闹_Fey 2018-10-10 03:25:50

filebeat里面可以可以实现记录日志行号的功能么？如果不行的话，logstash可以么？

...全文

265 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

ELK平台是一套完整的日志集中处理解决方案，将ElasticSearch、Logstash 和 Kiabana三个开源工具配合使用，完成更强大的用户对日志的查询、排序、统计需求；#输入采用标准输入，输出采用标准输出（类似管道）#键入内容（标准输入）#输出结果（标准输出）#键入内容（标准输入）#输出结果（标准输出）input、output 以及 filter（可选，根据需要选择使用）。input：表示从数据源采集数据，常见的数据源如Kafka、日志文件等。

elasticsearch是一个高度可扩展性的开源全文索引和分析引擎，它可实现数据的实时全文搜索。搜索、支持分布式可实现高可用、提供API接口，可以处理大规模日志数据，比如nginx，tomcat，系统日志等功能。使用java语言开发，建立在全文搜索引擎Apache lucene基础之上的搜索引擎特点：实时搜索、实时分析分布式架构、实时文件存储文档导向，所有对象都是文档高可用，易扩展，支持集群，分片与分配接口友好，支持json。

ELK 是 Elasticsearch、Logstash 和 Kibana 三个开源工具的组合，常用于数据搜索、日志管理和数据可视化Elasticsearch 是一个分布式搜索和分析引擎，基于 Apache Lucene 构建，主要用于存储、搜索和分析大量数据。Logstash 是一个数据收集引擎，能够从多个来源收集数据，进行过滤和转换，然后将数据发送到存储引擎（如 Elasticsearch）。Kibana 是一个数据可视化和分析平台，专为与 Elasticsearch 一起使用而设计。

奶妈级ELK日志分析系统搭建

不同的运行环境，需要不同的日志输出配置，例如：开发测试环境为了能够方便地 Debug，需要设置日志级别为 Debug 级别；现网环境为了提高应用程序的性能，则需要设置日志级别为 Info 级别。又比如，现网环境为了方便日志采集，通常会输出JSON格式的日志；开发测试环境为了方便查看日志，会输出TEXT格式的日志。所以，我们的日志包需要能够被配置，还要不同环境采用不同的配置。通过配置，可以在不重新编译代码的情况下，改变记录日志的行为。支持输出到标准输出和文件。

21,497

社区成员

41,616

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章