关于logstash的filter过滤完日志向elasticsearch存数据的问题
各位好,有一个问题想请教一下,logstash设置完filter后,确实过滤了我不想要的日志,因为终端输出可以看到,但output写人elasticsearch时,确把过滤的日志也写入了es中,相当于走了一遍过滤器然后原值又直接给了es。。。很是不解
conf如下:
input {
file {
path => "/root/logstash/logstash-1.4.2/mytest/messages"
}
}
filter {
if ([message] =~ "^(?!.*?abc).*$") { //把不包含 “abc”的日志行删掉
drop {}
}
}
output {
elasticsearch {
host => ["localhost"]
protocol => "http"
index => "system-message-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug}
}
conf如下:
input {
file {
path => "/root/logstash/logstash-1.4.2/mytest/messages"
}
}
filter {
if ([message] =~ "^(?!.*?abc).*$") { //把不包含 “abc”的日志行删掉
drop {}
}
}
output {
elasticsearch {
host => ["localhost"]
protocol => "http"
index => "system-message-%{+YYYY.MM.dd}"
}
stdout { codec => rubydebug}
}
...全文
相关推荐
logstash5.6.1向es导入oracle数据库数据
资源主要能用于使用logstash将oracle数据导入到es中,logstash的版本为5.6.1
ELKF:日志过滤logstash与存储elasticsearch
- logstash正常工作依赖:Kafka和ES,先启动Kakfa和ES做准备; - 数据流向:Kafka->Logstash->ES; - Logstash配置输入和输出,其中,输入:Kafka,输出:ES,配置index,为后面Kibana统计准备; - 通过接口查询ES数据,测试数据是否正常存储到ES。
logstash-jdbc-input 同步数据到es的多任务配置
logstash + elasticsearch + kibana, 资源为mysql数据库增量同步到es的配置
Logstash日志数据采集与ELK可视化分析实战
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战(全套视频+课件+代码+讲义+工具),具体内容包括: 01 Logstash的架构及运行流程 02 Logstash的数据采集案例(一) 03 Logstash的数据采集案例(二) 04 Kibana的介绍部署及功能模块讲解 05 ELK企业常见四种架构及应用 06 ELK综合案例-案例数据的导入 07 ELK综合案例-Logstash读取Mysql数据到ES 08 ELK综合案例-常见业务指标分析 09 ELK综合案例-Kibana生成报表展示
logstash使用总结
ELK中Logstash使用配置,文档主要描述如何使用logstash进行数据规则配置过滤。


