Filebeat 引入ELK

叱咤少帅（少帅）

博客专家认证

2023-01-13 02:06:14

课时名称	课时知识点
Filebeat 引入ELK	Filebeat 引入ELK

...全文

116 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Centos7搭建ELK+filebeat，公司现用体系架构，解决了开发没有权限查看线上日志的情况，

filebeat-5.4.0

1、文档详细介绍了下面三种日志架构的优缺点 Elasticsearch + Logstash + Kibana Elasticsearch + Logstash + filebeat + Kibana Elasticsearch + Logstash + filebeat + redis(也可以是其他中间件，比如kafka) + Kibana 2、生产上建议使用建议采用 filebeat + kafka + Logstash+Elasticsearch+Kibana的架构。接上所述，随着数据量的加大或者系统采集的数据信息存在洪峰的情况，就存在数据丢失、系统崩溃不可用的情况。而采用此架构kafka能做数据的缓冲，给logstash平滑处理日志的时间，如果日志量继续加大，kafka也达到了最大处理量，此时filebeat就算不能发送出去日志信息，但是日志信息也不会丢失，等到后端压力减少后正常效率工作，任然能够收集到所有日志。对于ES中的日志信息处理可以定期转存或者丢弃。如果由于数据量过大导致未到规定时间就已占满磁盘的情况，可以通用磁盘空间预警来防止，磁盘占满导致系统不可用的情况。对于收集的日志信息如果能提前在系统应用日志层面做优化处理（比如json格式化，日志分类）也可以大大提升ELK系统的吞吐能力。减少logstash日志过滤的压力。

ELK是一套开源免费、功能强大的日志分析管理系统，可以将系统日志、网站日志、应用日志等各种日志进行收集、过滤、清洗，然后进行集中存放并展示。第一章：ELK日志收集系统介绍第二章：Filebeat日志收集第三章：Logstach日志收集第四章：ELK收集App日志实践第五章：ELK收集Nginx日志实践第六章：ELK收集MySQL慢日志第七章：ELKStack 集群安全第八章：ELKStack架构引入消息队列

filebeat-6.6.0 百度云地址

少帅的课程社区_NO_1

1

社区成员

265

社区内容

发帖

与我相关

我的任务

linux 技术论坛（原bbs）广东省·深圳市

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章