Kafka消费数据问题

[小哈ha]

我通过flume获取外网服务器上的日志数据（测试生产数据）作为生产者，每秒生产1条的话，kafka这边无法消费，要等生产端停止才能拿到未消费的，我试过生产端至少设置4秒产生一条，消费端才能及时消费到，但是我测试过10秒生产5条，消费端却可以消费到，这个是怎么回事呢？从生产到成功消费，大概有2秒左右的延迟，3台1h2g虚拟机集群了的，topic是3个分区

[LinkSe7en]

flume是怎么配置的？我怀疑是你flume把数据刷到内存channel，因为缓冲量不够，就没有及时sink到kafka 正常直接把kafka配置为channel就可以了，sink不配置

[小哈ha]

我是用2台机器来做的，比如为a和b，a机器是用来采集，sink的type设置avro，把数据采集到b机器上去，b机器的sink设置的kafka，作为kafka的生产者

[langjinchao]

我回复能赚取积分吗？

[Therefore丶]

导致这个问题的有两点， 一是flume设置的数据条数：如果你写入kafka的数据条数达不到该设置，那么只有停止的时候才会开始写入。 二是flume设置的数据量大小（文件大小）