log4j直接把日志写入到elasticsearch

[星辰海]

最近公司要搭建日志平台，本来想搭建一个elk，经理说不好维护，出问题了不好搞。他的要求就是直接通过lo4j把日志写入到elasticsearch中。我这边一直都没有好的方案，各位能否提供一下相关的知识，如果有直接解决的办法那就更好了。

[webrobot]

可以写个定时任务，每天23点，把目录下的log进行解析写入es中，之后删除日志。 应该不难。

[星辰海]

引用 2 楼 webrobot 的回复:

可以写个定时任务，每天23点，把目录下的log进行解析写入es中，之后删除日志。 应该不难。

这个肯定不行啊，如果生产出问题了要能实时查询日志的，不能隔一天查，那样黄花菜都凉了。

[十八道胡同]

是要搭建日志分析系统吗？ 有新日志直接丢kafka，然后有kafka来处理日志到elasticsearch？

[webrobot]

那就用kafka吧。 网上例子一大把。

[星辰海]

引用 4 楼 LCL_data 的回复:

是要搭建日志分析系统吗？ 有新日志直接丢kafka，然后有kafka来处理日志到elasticsearch？

你的意思是log4j直接把日志丢给kafka，然后再通过kafka扔给ES是吗？

[webrobot]

你是想把log日志处理之后再丢给es。 那还是做个定时，每分钟处理一下， 把数据写入es。 处理完毕，清空当前的log。 半实时。延迟个1，2分钟。

[星辰海]

额？沉了吗？不要沉，不要沉呐！

[RyanDon]

我是采用log4j2的socket直接将日志发送给lostash，分词后给到elasticsearch的，这样能行，但是logstash感觉好重，不知道有没有其他更好的方案直接传log4j日志的

[哈希塞特]

flume监控日志所在的目录，能实时将变化的日志文件传输到下游，下游可以是kafka，或者es也行，如果需要解析可以加一层解析日志的逻辑