Flume-kafka-storm日志分析--日志发送log4j2中缓存队列不足导致日志丢失问题如何解决？

[ZK_小姜]

背景：日志分析，采用Flume-kafka-storm-hbase-ui这样的一个实时流处理的框架，flume作为日志收集器，kafka作为日志中间缓存，storm实时处理，hbase日志存储，然后前端界面从hbase中拿数据进行展示。日志产生是通过log4j2来产生日志，并通过网络发送给flume。
问题：日志产生端在有的时间段会瞬时产生大量的日志，这个时候，log4j2的缓存队列就不够用了，出于某些原因，在log4j2中不允许使用太大的缓存队列数，因为那样会占用过大的内存，影响交易服务。于是在这种情况下在那个时间段当log4j2的缓存队列溢出了后，就会造成日志数据丢失。
不知道各位大神是否有遇到过这样的问题，还请不吝赐教。

[ZK_小姜]

........

[石药]

楼主最后怎么解决的呢。我也遇到有数据丢失的情况

[dzl84394]

或者flume去读取log4j写出来的文件日志呢?

[矮小的]

我自己测试的100线程1w条 实际log只有72万。。。降低需求100线程100条 =1380（每次不一）

所以不要使用异步。。。不要使用异步。。。不要使用异步。。。